#!/usr/bin/env python
# -*- coding: utf-8 -*-
#videowriter.py
import Image
import CVtypes as cv
import atexit

#SCREEN_SIZE = (W, H)

class VideoWriter(object):
    def write_frame_pygame(self,sc):
        """
            write_frame for PyGame Surface
        """
        #print self.idx
        self.idx+=1
        s=str(sc.get_buffer().raw)
        cv.cvSetData(self.cvimg,s,self.W*self.bpp)
        #cv.cvShowImage("test",self.cvimg)
        cv.cvWriteFrame(self.vw,self.cvimg)

    def atexist(self):
        cv.cvReleaseVideoWriter(self.vw)

    def __init__(self,fname, size=(640,480),
                 fps=30,codec=-1,bpp=4,mode="pygame"):
        """
        bpp=bit_per_pixel
        mode  , now pygame only (extendable)
        """
        self.idx=0
        modelist={"pygame":self.write_frame_pygame}

        self.write_frame=modelist[mode]
        self.bpp=bpp
        self.SCREEN_SIZE=size
        self.W,self.H=size
        self.vw=cv.cvCreateVideoWriter(fname,
            codec,fps,cv.CvSize(*size))
        self.cvimg=cv.cvCreateImage(cv.CvSize(*size),8,bpp)
        atexit.register(self.atexist)
        #終了時に aviファイルを自動的にclose

#オマケ
#PyGameのSurfaceデータを　PIL画像データに変換
def img(s):
#ピクセル取得
    buf=s.get_buffer()
    im =Image.fromstring("RGBA",s.get_size(),buf.raw)
    B,G,R,A=im.split()
    return Image.merge("RGBA",(R,G,B,A))

---

使い方

このコード自体は検証してないです。　　後日、ちゃんと動くサンプルを作成予定～
代表的なPyGameのサンプルコードは、こんな感じのループになってるのですが

import pygame
from pygame.locals import *
from videowriter import VideoWriter,img  #☆☆☆　インポート
#
vw=VideoWriter("filename.avi")        #☆☆☆　 出力ファイル名を指定して初期化
#
SCREEN_SIZE=(640,480)

pygame.init()
screen = pygame.display.set_mode(SCREEN_SIZE)
～～～～（中略）～～～～～～
clock = pygame.time.Clock()
while True:　#Pygameのメインループ
    clock.tick(30)  #毎秒の表示コマ数に応じてウェイト
                        #ディスク上のAVIへ書き込むことを考えると、FPSは　15コマ／秒程度がよさげ
                        # （速いマシンなら　もっと速くできるかもですが）
    screen.blit( ほげほげ, (x,y))  #　個々のキャラクターを描画

  ～～～～このへんに、描画のメイン処理～～～～～～
    pygame.display.update()             #画面に反映
    vw.write_frame(screen)               #☆☆☆ ここでAVI に １コマ書き出し

    for event in pygame.event.get():   #窓を閉じると終了
        if event.type == QUIT:
            sys.exit()

という感じで使います。

オマケの静止画保存

from videowriter import VideoWriter,img  #☆☆☆　インポート
from datetime import datetime
#画面のスクリーンショットをとりたくなった場所で適宜
im=img(screen)
im.save("screenshot%s.jpg"%datetime.today().strftime("%Y%m%d-%H%M%S"))

Tags: OpenCV, PyGame, Python

Related posts

• Pythonで名前つきリスト その2 (0)
• 【Py】webページの先頭数バイトだけ取得 (0)
• wget.py webをまとめて取得　などなど (0)
• CUIでプログレスバーもどき (0)
• ドロネー三角形 matplotlibで (0)

]]> http://boxheadroom.com/2009/02/20/pygame_avi_save/feed 0 http://boxheadroom.com/2008/11/01/gimp_cvinpaint_opencv http://boxheadroom.com/2008/11/01/gimp_cvinpaint_opencv#comments Fri, 31 Oct 2008 19:26:53 +0000 boxheadroom http://boxheadroom.com/?p=1993

OpenCVのinpaint関数をGIMPから(Python経由で)使えるようにしてみました。

処理結果はこちらのサンプルみたいな感じ。

• 【動画】inpaint処理結果サンプル

あまり大げさなことは出来ませんが、小さいノイズを消したりするのに便利なので、個人的に手放せません。

以下コード

関連

• 不要オブジェクトの除去 cvInpaint Cサンプルコード(opencv.jp)
• Gimp Python Documentation

オマケ

• 知って得する５つの『GIMP』トリック
  「四角選択ー＞角丸」　一週間早く知りたかったー

わかってる不具合

なんでこうなるの？

• フィルタ動作後、レイヤーが非表示になったままです。
  表示してやると、処理が画面に反映されます
• アンドゥーがききません。　

下記のプログラムが動くまでの道のり

• GIMP (レタッチソフト)
  GIMP2を使おう
• Python
  GIMP2.4 win32版のプラグインをPythonで書く　インストール編
• OpenCV
• CVtypes PythonからOpenCVを使うためのライブラリ
  今回はパッチなしで動くようにしてみました。
  「CVtypes.py」OpenCVをctypes経由で使う

---

その他のメモ

cvSetDataなどを使い、以前よりも、ちょっとだけ、GIMPとOpenCVの間の画像データのやりとりが速くなったはず。

#!/usr/bin/env python
from gimpfu import *
import CVtypes as cv
import ctypes
import sys
gettext.install("gimp20-python", gimp.locale_directory, unicode=True)

def cvImageAsString(img):
    btype = ctypes.c_char * img[0].imageSize
    return btype.from_address(img[0].imageData)

_cvDLL = ctypes.cdll.cv100
cvInpaint =cv.cfunc('cvInpaint',_cvDLL, None,
    ('src', ctypes.c_void_p, 1), # const CvArr* src
    ('mask', ctypes.c_void_p, 1), # CvArr* dst
    ('dst', ctypes.c_void_p, 1), # CvArr* dst
    ('flags', ctypes.c_int, 1), # int flags
    ('inpaintRadius', ctypes.c_double, 1), # double threshold1
)
def cvinpaint(img,layer):
    r=10
    gimp.progress_init("cvInPaint")
    gimp.progress_update(0.5) #percnt 0 ->1.0
    flag,x0,y0,x1,y1=gimp.pdb.gimp_selection_bounds(img)
    ox,oy=layer.offsets
    x0-=ox; x1-=ox; y0-=oy; y1-=oy
    if not flag : return
    x0=max(x0-r,0)
    y0=max(y0-r,0)
    x1=min(x1+r,layer.width)
    y1=min(y1+r,layer.height)
    r=float(r)
    w=x1-x0; h=y1-y0
    p0=layer.get_pixel_rgn(x0,y0,w,h)
    src_img = cv.cvCreateImage( cv.CvSize( w,h), 8, p0.bpp )
    cv.cvSetData(src_img,str(p0[:,:]),w*p0.bpp)
#---------------
    stp=src_img[0].widthStep
    sstr=cvImageAsString(src_img)
    stp2=w*p0.bpp
    idx0=0
    for y in xrange(y0,y1):
        idx1=idx0+stp2
        p0[x0:x1,y]=sstr[idx0:idx1]
        idx0+=stp

#---------------
    if layer.bpp==4 :
        src4=src_img

        src_img=cv.cvCreateImage( cv.CvSize( w,h), 8, 3)
        cv.cvCvtColor( src4, src_img,cv.CV_BGRA2BGR )
    gimp.progress_update(0.6) #percnt 0 ->1.0
    layer.visible=False
    sel=img.selection
    ps=sel.get_pixel_rgn(x0+ox,y0+oy,w,h)

    mask_img = cv.cvCreateImage( cv.CvSize( w,h), 8, 1)
    cv.cvSetData(mask_img,str(ps[:,:]),w)
    dst_img = cv.cvCloneImage (src_img)

    gimp.progress_update(0.7) #percnt 0 ->1.0
    cvInpaint (src_img, mask_img, dst_img, cv.CV_INPAINT_TELEA, r)

    gimp.progress_update(0.8) #percnt 0 ->1.0
    if p0.bpp==4 :
        cv.cvCvtColor( dst_img, src4, cv.CV_BGR2BGRA )
        cv.cvReleaseImage(dst_img)
        cv.cvOrS(src4, cv.CvScalar(0,0,0,255.0), src4)
        dst_img=src4

    dstr=cvImageAsString(dst_img)
    stp=dst_img[0].widthStep
    stp2=w*p0.bpp
    idx0=0
    for y in xrange(y0,y1):
        idx1=idx0+stp2
        p0[x0:x1,y]=dstr[idx0:idx1]
        idx0+=stp
    cv.cvRelease(dst_img)
    cv.cvRelease(mask_img)
    cv.cvRelease(src_img)
    layer.visible=True
    gimp.displays_flush()
    gimp.progress_update(1.0)
    #img.undo_group_end()
register(
    "python-fu-cvinpaint",
    N_("CvInPaint OpenCV"),
    "Adds a layer of fog to the image.",
    "BoxHeadRoom",
    "BoxHeadroom.com",
    "2007",
    N_("_CvInPaint..."),
    "RGB*, GRAY*",
    [
        (PF_IMAGE, "image",       "Input image", None),
        (PF_DRAWABLE, "drawable", "Input drawable", None),
    ],
    [],
    cvinpaint,
    menu="<Image>/Filters/OpenCV",
    domain=("gimp20-python", gimp.locale_directory)
    )

main()

OpenCV

バージョン1.0では320×240でしか画像を取り込めません
tag　／　wiki

。。。なので、今回は別の方法を探すことに。

VideoCaptureモジュール

Pythonから簡単にビデオキャプチャできるモジュール。超楽。
解像度も指定できます。(IEEEカメラなどが使えるかは不明)
きめ細かい指定は直接はできませんが、とにかく簡単。

EyeToy用ドライバ

PS2用のWebカメラ、EyeToy PlayをPC(WindowsXP,Vista)で使うためのドライバ。
1個だけなら、このドライバで、Vistaでも動きました。が。。。

EyeToyをPCに複数個接続したい。。。が挫折

複数個のカメラをPCに接続したところ

• テレビチューナーカード1個＋EyeToy1個で動作した(XP)
  VideoCaptureモジュール自体は複数カメラに対応している模様
• VistaなPCにEyeToyを複数個接続したところ、
  • USBハブに複数カメラを接続すると、2個目のカメラを認識せず。
  • PC本体のUSBポートにカメラを直接接続。動作した。。。かと思いきや暴走してブルースクリーンに。
    ドライバが原因か、ハード的な原因か、VideoCaptureモジュールのアクセスするタイミングの問題か。。。それともPCのUSBの問題かは不明

というわけで、当面、EyeToy一個だけで遊ぶことに。
同じ機種のカメラを複数同時に使えると面白そうだと思ったのだけれど残念。

ビデオ編集ソフトVirtualDub

OpenCVが作成するAVIは、一部のソフトと相性が悪く、開けない場合有り。
（音声トラックがついてない、という問題なのかも）
VirtualDubで開いて、再圧縮なしで保存しなおすと他のソフトでもちゃんと開けるようになります

サンプルコード

VideoCaptureモジュールサンプルコード(静止画)

たった4行でjpeg画像として保存できちゃいます。
これはラクチン。

_from VideoCapture import Device
_cam = Device(devnum=0)
_cam.setResolution(640,480)
_cam.saveSnapshot(’testtestimage.jpg’)
_#保存する画像にタイムスタンプを入れる場合はこちら。
_#cam.saveSnapshot(’testtestimage.jpg’, \
_# timestamp=3, boldfont=1)

動画

Webカメラ1個をPythonからVideoCaptureモジュールで画像取り込み。
50フレームだけ一旦メモリーに格納。
取り込み終わったあと、OpenCVでAVIとして保存する例。取り込んで終了

VideoCaptureモジュールで取り込んだ画像をOpenCVのIPL Image形式に変換するには、cvSetData関数を使うのが速いみたいです。
（ちょっと悩みました）

_from VideoCapture import Device
_import time
_import CVtypes as cv
_
_w=640; h=480; fmax=50
_#cam = Device(devnum=0)
_cam.setResolution(w,h)
_vw=cv.cvCreateVideoWriter("test.avi",\
_ -1,30,cv.CvSize(w,h))
_print raw_input("Press Enter for Start Recording")
_last=time.time()
_blist=[]
_for i in xrange(fmax):
_ b=str(cam.dev.getbuffer()[0])
_ blist.append(b)
_t=time.time()-last
_print t
_print "%f fps" % (fmax/t)
_wd=w*3
_im=cv.cvCreateImage(cv.CvSize(w,h),8,3)
_for i,b in enumerate(blist):
_ cv.cvSetData(im,b,wd)
_ cv.cvWriteFrame(vw,im)
_ cv.cvFlip(im)
_cv.cvReleaseVideoWriter(vw)

OpenCVで、いろんな画像処理しても楽しいかも。

ソースも読みやすく着色しないといかんですねぇ。。。

インテルから配布されてるOpenCV Pythonバインドだと、GIMPからPythonへのデータ転送が遅いので、もう一度CVtypesのお世話になることに。
(swig版に比べると、起動が遅くなるのですが。。。)

ここまでのあらすじ

• GIMP2.4 win32版のプラグインをPythonで書く　インストール編
• 「CVtypes.py」OpenCVをctypes経由で使う
  動作にはこのパッチが必要。
  (ToDo 今後、パッチを当ててないCVｔｙpesで動くようにしないと)
• PythonでOpenCV オプティカルフロー編
  前回の記事。　むしろ、このサンプルコードみたく、動画の各コマに、線を描き入れるだけでもマンガの効果線みたいで面白いかも。
  それはそれで作らないと。。。

---

今回のコード。自分用なので、print文　デバッグも残してあります。

_#!/usr/bin/env python
_
_from gimpfu import *
_import CVtypes as cv
_import math
_from itertools import izip
_gettext.install("gimp20-python", gimp.locale_directory, unicode=True)
_
_
_def ofblur5(img, lyr,lyr0,lyr1):
_#def ofblur5(img, lyr,lyr0,lyr1,sxy):
_ import sys
_ import os
_ p=os.path.abspath(os.path.dirname(sys.argv[0]))
_ fp=file(p+"\\test.txt","a")
_ #print >>fp,p
_ #sys.stdout,tmp= fp,sys.stdout
_ #print code
_ #img=gimp.image_list()[0]
_ #lyr=img.active_layer
_ #s=img.selection
_ w,h=x1,y1=lyr.width,lyr.height
_ w0,h0=lyr0.width,lyr0.height
_ w1,h1=lyr1.width,lyr1.height
_
_ if w0!=w1 or h0!=h1 :
_ print >>fp,"size not match"
_ return
_
_ pr0=lyr0.get_pixel_rgn(0,0,w0,h0)
_ pr1=lyr1.get_pixel_rgn(0,0,w0,h0)
_
_ cvimg0 = cv.cvCreateImage( cv.CvSize( w0,h0), 8, pr0.bpp )
_ cvimg1 = cv.cvCreateImage( cv.CvSize( w0,h0), 8, pr1.bpp )
_ sstr0=cv.cvImageAsString(cvimg0)
_ sstr1=cv.cvImageAsString(cvimg1)
_ if len(sstr0)==len(pr0[:,:]) :
_ sstr0[:]=pr0[ : , : ]
_ else :
_ ws=cvimg0.contents.widthStep
_ for y in xrange(h):
_ i0=y*ws
_ i1=i0+w
_ sstr0[ i0 : i1 ]=pr0[ : , y]
_
_ #print >>fp, cvimg1.contents.widthStep," ",len(pr1[ : , 1])
_ if len(sstr1)==len(pr1[:,:]) :
_ sstr1[:]=pr1[ : , : ]
_
_ else :
_ ws=cvimg1.contents.widthStep
_ for y in xrange(h):
_ i0=y*ws
_ i1=i0+w
_ sstr1[ i0 : i1 ]=pr1[ : , y]
_
_ """for y in xrange(h):
_ for x in xrange(w):
_ src_img[x,y]=cv.cvScalar(*[ord(x) for x in pr0[x,y]])
_ """
_
_ block_size = 16;
_ shift_size = 1;
_
_ rows = int (math.ceil (h / float(block_size)))
_ cols = int (math.ceil (w/ float(block_size)))
_ velx = cv.cvCreateMat (rows, cols, 5) #CV_32FC1
_ vely = cv.cvCreateMat (rows, cols, 5) #CV_32FC1
_ cv.cvSetZero (velx)
_ cv.cvSetZero (vely)
_
_
_
_ #cvReleaseImage(img)
_ gray0 = cv.cvCreateImage( cv.CvSize( w0,h0), 8, 1 )
_ gray1 = cv.cvCreateImage( cv.CvSize( w0,h0), 8, 1 )
_ if pr0.bpp==3 :
_ cv.cvCvtColor(cvimg0, gray0, cv.CV_RGB2GRAY)
_ elif pr0.bpp==4 :
_ cv.cvCvtColor(cvimg0, gray0, cv.CV_RGBA2GRAY)
_
_ if pr1.bpp==3 :
_ cv.cvCvtColor(cvimg1, gray1, cv.CV_RGB2GRAY)
_ elif pr1.bpp==4 :
_ cv.cvCvtColor(cvimg1, gray1, cv.CV_RGBA2GRAY)
_
_ #——————————–
_ #main
_ blocksize = cv.CvSize (block_size ,block_size )
_ shiftsize = cv.CvSize (shift_size,shift_size)
_ max_range = cv.CvSize (50, 50)
_ cv.cvCalcOpticalFlowBM (gray0,gray1, blocksize, shiftsize,\
_ max_range,0,velx,vely)
_
_
_ fx=cv.cvMatAsFloat(velx)
_ fy=cv.cvMatAsFloat(vely)
_ #——————————–
_
_ if pr0.bpp==3 :
_ cv.cvCvtColor(gray0, cvimg0, cv.CV_GRAY2RGB)
_ elif pr0.bpp==4 :
_ cv.cvCvtColor(gray0, cvimg0, cv.CV_GRAY2RGBA)
_ cv.cvOrS(cvimg0, cv.CvScalar(0,0,0,255.0), cvimg0)
_ if pr1.bpp==3 :
_ cv.cvCvtColor(gray1, cvimg1, cv.CV_GRAY2RGB)
_ elif pr1.bpp==4 :
_ cv.cvCvtColor(gray1, cvimg1, cv.CV_GRAY2RGBA)
_ cv.cvOrS(cvimg1, cv.CvScalar(0,0,0,255.0), cvimg1)
_ #pr0[ : , : ]=sstr0[ : ]
_ #pr1[ : , : ]=sstr1[ : ]
_
_
_ cvsmall=cv.cvCreateImage( cv.CvSize( cols,rows), 8, 1 )
_ smallstr=cv.cvImageAsString(cvsmall)
_ ws=cvsmall.contents.widthStep
_
_ if len(smallstr)==cols*rows :
_ smallstr[:]="".join( chr(int(abs(i)+abs(j))*2) for i,j in izip(fx,fy))
_ else :
_ for y in xrange(rows):
_ i0=y*ws
_ i1=i0+cols
_ b=y*cols
_ smallstr[i0 : i1] = "".join( chr(int(abs(i)+abs(i))*2) for i, j in izip(fx[b:b+cols],fy[b:b+cols]))
_
_ cvlarge= cv.cvCreateImage( cv.CvSize(w, h ), 8, 1 )
_ cv.cvResize( cvsmall, cvlarge, cv.CV_INTER_CUBIC )
_ largestr=cv.cvImageAsString(cvlarge)
_ #print >>fp, largestr
_ pdb.gimp_selection_all(img)
_ s0=img.selection
_ prs=s0.get_pixel_rgn(0,0,w , h )
_ prs[:,:]=largestr[:]
_ #prs[:,:]="\xff"*(w*h)
_ s0.flush()
_ #cv.cvNamedWindow("test")
_ #cv.cvShowImage("test",cvlarge)
_
_ """
_ ax=sxy
_ ay=sxy
_ dox=1
_ doy=1
_ displace_type=1
_
_
_ pdb.plug_in_displace(img, dw, ay, ay, dox, doy, mapx, mapy, displace_type)
_ """
_ #sys.stdout=tmp
_
_register(
_ "python-fu-ofblur5",
_ N_("python-fu-ofblur5 opencv"),
_ "python-fu-pfblur4 opencv",
_ "boxheadroom",
_ "boxheadroom",
_ "2008",
_ N_("_ofblur5"),
_ "RGB*, GRAY*",
_ [
_ (PF_IMAGE, "img", "Input image", None),
_ (PF_DRAWABLE, "lyr", "Input layer", None),
_ (PF_DRAWABLE, "img0", "current image", None),
_ (PF_DRAWABLE, "img1", "previous ", None),
_ #(PF_SLIDER, "sxy", _("_blur strength"), 5.0, (0, 20, 0.1)),
_
_ ],
_ [],
_ ofblur5,
_ menu="<Image>/Filters/Python",
_ domain=("gimp20-python", gimp.locale_directory)
_ )
_
_main()
_