zlibを使って名寄せなどで使っています。
　（今、ほかのマシンでこのモジュールを動かそうとしたらmycollectionsが足りないことに気がついた。）

今からスクリプトを書くのであれば
2.7以降なら OrderedDict
2.6以前なら prdereddictモジュールを使うのが良いと思います。

名前付きリストモジュール。
リストを継承したクラスですが、インデックスとして数値だけでなく名前を使えるように拡張してあります。
使い方は namedtupleっぽい感じで。

#"namedtuple.py"
def namedtuple(tname,tmemberstr):
    __t=tmemberstr.split()
    __a=",".join(__t)

    class _(tuple):

        exec "def __new__(cls, %s):return tuple.__new__(cls,(%s))"%(__a,__a)
        exec "def __init__(self, %s):tuple.__init__(self,(%s))"%(__a,__a)

        def __get__(self,x):

            return self[__t.index(x)]

    for m in __t :
        setattr(_,m,property(lambda self,p=m:self.__get__(p)))        

    _.__name__=tname

    return _

def namedlist(lname,lmemberstr):
    __m=lmemberstr.split()
    __ka="=0,".join(__m)+"=0"
    __a=",".join(__m)

    __idx=dict(zip(__m,range(len(__m))))
    __sep=[":",]*len(__m)
    class _(list):

        exec "def __new__(cls, %s):return list.__new__(cls,[%s])"%(__ka,__a)
        exec "def __init__(self, %s):list.__init__(self,[%s])"%(__ka,__a)

        def __get__(self,x):
            return self[__idx[x]]
        @classmethod
        def getp(cls,x,p):

            return x[cls.__idx[p]]
        @classmethod
        def indexp(cls,p):
            return cls.__idx[p]

        def __set__(self,x,v):
            self[__idx[x]]=v

    for m in __m :
        setattr(_,m,property(lambda self,p=m:self.__get__(p),
                             lambda self,v,p=m:self.__set__(p,v)))
    _.__member=__m
    _.__idx=__idx
    _.__name__=lname

    return _

#################
# ここから下はテスト的な何か
# 未だに　ちゃんとしたテストの書き方がよくわかりません。
#################

if __name__=="__main__":
    """
    X=namedlist("X","a b c")
    x=X(1,2,3)
    print "x",x
    print "x.a",x.a
    print "x.b",x.b
    print "x.c",x.c
    print "x[0]",x[0]
    print "x[:]",x[:]
    x.a=100
    x.b*=100
    x[-1]=300
    print x
    """
    Pos3d=namedlist("Pos3d","x y z")
    p=Pos3d()
    print p
    X=namedlist("X","a b c")
    x=X(1,2,3)
    print "x",x
    print "x.a",x.a
    print "x.b",x.b
    print "x.c",x.c
    print "x[0]",x[0]
    print "x[:]",x[:]
    x.a=100
    x.b*=100
    x[-1]=300
    print "x",x
    print "list(x)",list(x)
    print "x[:]=[1,2,3][:]"
    x[:]=[1,2,3][:]
    print "x",x
    print "x.a x.b x.c",x.a,x.b,x.c
    print "x.indexp('a'),x.indexp('b'),x.indexp('c')"
    print x.indexp('a'),x.indexp('b'),x.indexp('c')

こういうスニペットを保存するにはgithubなどを使うほうがよいのかもしれませんけれども。

Related posts

• 【Py】webページの先頭数バイトだけ取得 (0)
• wget.py webをまとめて取得　などなど (0)
• CUIでプログレスバーもどき (0)
• ドロネー三角形 matplotlibで (0)
• OpenCV + Pythonで ドロネー△　（どろねーさん、かっけー） (0)

そんな時には、Rangeヘッダを使うらしいです。
HTTP入門

以下　コード例

スクリプトを書いて　調べてみました。

opener = urllib2.build_opener()
opener.addheaders = [
    #これはお好みで
    #("User-agent",
    #   "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"), 

    　#今回のキモ
    ("Range","bytes=0-1023"), 

    ]
uri="http://～～～取得したいページ～～～～"
op=opener.open(uri,timeout=30)
dat=op.read(1024)

for i in op.headers.headers :
    print i

op.close()
～～　あとはdatを好きにに料理～～

ネットワークの状態を表示させて受信データの量を調べてみると、
・Rangeヘッダ不使用だと(大きなファイルでも)　20kバイト
・Rangeヘッダを使った場合、およそ2kバイト

なので、データの転送量が10分の1に減ってるみたいです。

大きなファイルの場合、いきなり全部のデータが送られてくるわけではないのですが、転送量の最小サイズは送られてきてしまうので、Rangeヘッダで指定したほうが、若干、転送量が減る、みたいです。

ファイルを1000個ぐらいダウンロードすると若干サーバへの負荷が違ってくる、かも。

あと、今回調べたのはJPEG画像ファイルなど静的ファイルについて。
CGIやPHPなどの、動的コンテンツでは効果無い、かもです。（たぶん）

Related posts

• Pythonで名前つきリスト その2 (0)
• wget.py webをまとめて取得　などなど (0)
• CUIでプログレスバーもどき (0)
• ドロネー三角形 matplotlibで (0)
• OpenCV + Pythonで ドロネー△　（どろねーさん、かっけー） (0)

Vista+Python2.5, 2.6で動作確認

久しぶりに使おうと思ったら、見つけるのに時間がかかったのでblogにもメモ。

wget.pyとして保存

#Reuse as free as public domain.
import urllib2
import xml.etree.ElementTree as etree
from BeautifulSoup import BeautifulSoup
import os
import re

def wget(url,maxdepth=0,depth=0):
    global op,html,u
    print url
    if depth>maxdepth: return
    op=urllib2.build_opener().open(url)
    html=op.read()
    p,b=mkdir(url)
    print p,"@",b
    if b :

        open("%s/%s"%(p,quote(b)),"wb").write(html)
    else :

        open("%s/%s"%(p,"index.html"),"wb").write(html)
        if depth>=maxdepth:return
        soup=BeautifulSoup(html)
        if not soup : return
        for i in soup.findAll("a"):
            href=i["href"]
            if re.match("https?://",href) :
                continue

            u=urllib2.urlparse.urljoin(url, href)
            if u.endswith("/") and u.startswith(url):
                wget(u,depth+1)
            else :
                dl(u)

def dl(url):
    p,b=mkdir(url)
    if not b :
        return
    fn="%s/%s"%(p,b)
    if os.path.exists(fn):
        return
    op=urllib2.build_opener()
    html=op.open(url).read()
    fp=open(fn,"wb")
    fp.write(html)
    fp.close()

def quote(txt):
    if txt.startswith("?"): txt=txt[1:]
    if txt.startswith("."):txt="_"+txt
    txt=urllib2.quote(txt,safe="")

    for rep in """\/:*?"<>|""":
        txt=txt.replace(rep,"%"+hex(ord(rep)))
    return txt
def mkdir(fullurl):
    dl_dir =fullurl[:]
    if dl_dir.lower().startswith("http://") :
        dl_dir=dl_dir[7:]
    dlist=dl_dir.split("/")
    dd="."
    for j  in dlist[:-1]:

        if not j : continue
        dd="%s/%s"%(dd,quote(j))
        #print dd
        if not os.path.exists(dd):
            os.mkdir(dd)

    print dd
    return dd,quote(dlist[-1])

if __name__=="__main__":

    urls=[
#取得したいurl一覧
#例　svnをhttp越しに取得するとき
#url="http://pyglet.googlecode.com/svn/trunk/",　#pyglet
"http://away3d.googlecode.com/svn/trunk/fp10/Away3DLite/"
#away3dlight.lights.Light.as　などが欲しかった
    ]
    for u in urls:
        wget(u,maxdepth=2)

Related posts

• Pythonで名前つきリスト その2 (0)
• 【Py】webページの先頭数バイトだけ取得 (0)
• CUIでプログレスバーもどき (0)
• ドロネー三角形 matplotlibで (0)
• OpenCV + Pythonで ドロネー△　（どろねーさん、かっけー） (0)

# -*- coding: utf8 -*-
# pbar.py
#lisence : as same as Python it self

from __future__ import print_function
class PBar(object):
    "progress bar for CUI"
    def __init__(self,n,title=""):
        self.n=n
        self.title=title
        self.ntic=n//20
        self.counter=0
    def tic(self):
        "call once per loop"
        c=self.counter
        if c==0:
            print ()
            print (self.title)
            print ("- - - - + "*4)
        if not c % self.ntic:
            #print ".",
            print (". ",end="")
        if c>=self.n-1:
            print ()
        self.counter+=1

if __name__=="__main__":
    import time
    #class
    bar=PBar(100,"Hello World. Please wait...")

    for i in range(100):
        time.sleep(0.01)
        bar.tic()
    print ("done")

テスト実行結果

please wait…
- – - – + – - – - + – - – - + – - – - +
. . . . . . . . . . . . . . . . . . . .
done

水木さんのマンガのように点々が増えていきます。
ジェネレーター版はこちら

Recipe 576986: Progress Bar for Console Programs as Iterator (Python)

Related posts

• Pythonで名前つきリスト その2 (0)
• 【Py】webページの先頭数バイトだけ取得 (0)
• wget.py webをまとめて取得　などなど (0)
• ドロネー三角形 matplotlibで (0)
• OpenCV + Pythonで ドロネー△　（どろねーさん、かっけー） (0)

# -*- coding: utf8 -*-
"""example for matplotlib.delaunay.triangulate
ドロネー三角形サンプルコード"""

import matplotlib.pyplot as plt
from matplotlib.delaunay.triangulate import Triangulation
import numpy as np

#matplotlib 初期化
plt.interactive(True)
fig=plt.figure(111)
fig.clear()
ax = fig.add_subplot(111)

#ランダムな点を作成
x=np.random.randn(100) # X 座標
y=np.random.randn(100) # Y 座標

#点からドロネー三角形を作成
tri=Triangulation(x,y) #　

plt.plot(x,y,"ro") #赤で点を表示

#エッジの連結順序を取り出し
for edge  in tri.edge_db:
    i , j = edge
    # i 番目の点と j 番目の点を連結する線を引く
    plt.plot( [x[i],x[j]], [y[i],y[j]] ,"b") #青で線を引く
    #
    #plt.plot( x[edge], y[edge], "b" ) #ホントは、こう書いたほうが速い

plt.show() # IDLEから起動するときはコメントアウト

サンプルコードでは画面表示を伴ってるので点100個ぐらいでもちょっと重いですが、点を与えてドロネー三角形に分割するだけなら　千個ぐらいの点でも一瞬です。

こっちのほうがOpenCVを使うよりも断然　お手軽ですね。もっと早く知りたかったですｗ 連結順序だけでなく、個々の三角形として取り出す方法もあるようです。

これは、主として、matplotlib.mlab.griddata関数から使うために用意されているようです。

matplotlib.mlab.griddata(x, y, z, xi, yi, interp=’nn’)

Cookbook / Matplotlib / Gridding irregularly spaced data

Related posts

• Pythonで名前つきリスト その2 (0)
• 【Py】webページの先頭数バイトだけ取得 (0)
• wget.py webをまとめて取得　などなど (0)
• CUIでプログレスバーもどき (0)
• OpenCV + Pythonで ドロネー△　（どろねーさん、かっけー） (0)