OV7670で取得したRAW画像をPCで表示する

CMOSカメラのOV7670を使って、RAW画像を取得し、PCで現像してみた。

電源の3.3V化改造を行ったArduino MEGA(1280)にビデオFIFO付きOV7670モジュールをとりつけて画像取得の実験をしている。　製造時期により、若干設計が違う製品がAliexpressでは入り乱れている。　トラ技のOV7670特集より以前に買っていたので、リビジョンが一つ古く、回路図が変更されていることに気づかず結構時間を取られた。 (古いモジュールはFIFOのWRSTが引き出されていて、VSYNCと繋がっていない)

 画像データ自体はビデオFIFO(AL422B)によって、カメラ側のクロックを気にせず好きなタイミングで読み出し可能だ。なので、あとはどういった解像度やフォーマットを選ぶかとなる。目的によって様々なサイズやフォーマットを使い分けることになるが、今回はVGAサイズの静止画を撮ることだけを考えてみたい。

　ということで、CMOSセンサの出力フォーマットの生の値である、BayerRAWで撮ってみた。
このFIFOつきカメラモジュールでVGA解像度を取得するなら、これが一番簡単だ。

OV7670の主な画像出力形式は次に示すものとなる。

・YUV  : 16bit/pixcek(4:2:2) ビデオ機器の色空間

・RGB  : 16bit/pixcel(565) ビットマップ

・RAW  : 8bit/pixcel センサの画素の生出力。

YUVとRGBはOV7670の内蔵DSPがエンコードした色空間フォーマットで、本来1画素1色しか表現できない一般的な撮像素子で、隣接する画素から色情報を補完したもの。

対してRAWは、画素毎のアナログ処理を経た生データ。 受け取った側では、画素上のベイヤーパターン(カラーフィルタの配列)と、縦横解像度の情報を元に色情報を補完(現像)する必要がある。

単純にデータサイズで見れば、RAWで出力するとデータ量は1バイト/Pixcelで済むため半分になり、384kBのFIFO付きモジュールでVGAサイズ1枚の画像を取得することができる。
　(YUV、RGBでもウインドウ機能を使って、FIFOの容量に収まるウインドウサイズ設定での取得は可能)

デジタル一眼レフで出力できるRAW画像は、1画素あたり16bit以上と階調が増えるため、よりダイナミックレンジの広い画像が撮影できる。

 実は高級なデジタルカメラでなくても、RAWフォーマットを採用していたカメラは過去に存在した。 カメラ付きケータイが出始めた頃、まだ高価なデジタルカメラの隙間商品として、30万画素、ディスプレイ無し、SDRAMに26枚撮影、というようなスペックのデジカメが流行っていた。そのころはまだおもちゃデジカメと呼ばれていたものだ。

その頃作ってた改造おもちゃデジカメ

 http://sites.kemushicomputer.com/Home/products/diy_toydigicam

　このおもちゃデジカメの機種を幾つかコレクションしている。(冒頭の機種はChe-ez!SPYZ)
SDRAMの容量は8MBしかないが、VGAサイズで26枚撮影できる。 RAM容量の節約のため、RAWのまま保存し、PCの読み出し時に専用ソフトで現像する方式だった。
　まだフォーマットを良く知らなかった高校の頃は、一枚約300kBしかないデータからどうやって900kBものビットマップ画像が生成されるんだろうかと不思議に思っていた。 

ところでOV7670のRAW画像を見るには…

やっとのことで本題に入ると、フリーの画像編集ソフト IrfanviewのRAWデコードプラグインを使って任意の解像度のRAW画像を表示する方法。

準備として、Irfanviewのサイトから、本体と、プラグインの詰め合わせをダウンロードしインストールしておく。　
　それから、ターミナルのログの拡張子を.rawに変更しておく。 

　Raw画像の復元に必要な情報は縦横のピクセル数と、データ中のRGBのカラーフィルタの並び順。 とりあえず、横のピクセル数が合っていれば画像としては見えるようになる。

 うまくプラグインがインストールできていれば、RawファイルをIrfanviewで開いた時に以下のウインドウが出現する。

設定項目

・画像の横幅、縦幅: 640x480

・ピクセルの階調: 8bit Pixcel

・個々のピクセルとフィルタの対応: Bayer Pattern usedの項目で、 GR, RG, BG,GBから選ぶ

うまく設定できると、まともな画像がデコードできる。 以下作例。 VGAサイズでの取得。
色がおかしい時は、Bayer Patturnを変えてみると良い。取得設定によっては、ピクセルがズレて正しい配列になっていないことがある。

　ちなみに、このプラグインでは2byte/PixcelのRGB画像もデコードして表示できる。　16BPPの項目で、目的のRGBフォーマットを選ぶだけだ。

特に修正無しでJPG化している

ピンぼけ気味

 レジスタ設定も関係してくるが、室内光で数メートル以内の対象を撮影すると思ったより綺麗に写る。 おもちゃデジカメでも同じ傾向があった。 30万画素のカメラはレンズも相まってたいてい近眼である。 

快晴下の公園の木々。偽色が発生している。

快晴下での撮影サンプル。細かいものを写すと、けっこう偽色が発生しているのがわかる。このへんは現像のパラメータをいじることができれば多少は改善するかもしれない。 Irfanviewでは現像パラメータの調整項目は無いので現像は下記参照。

　ここで冒頭で触れたおもちゃデジカメが再登場する。STV0680を搭載したカメラから出力されたRAW画像については、過去にSILKYPIXがサンプルプログラムを出していて、結構綺麗に現像できた。

OV7670の画像をPicasa3で表示したり、フリーソフトでRAW現像してみる

GoogleのPicasa3は、なぜかSTV0680系のカメラで撮影されたRaw画像を正常に表示できる。
Twainドライバが提供されていた名残りで、プロファイルを格納しているのだろうか?

ST製のCMOSセンサがOV7670と違う点は、センサの出力が644x484ピクセル(32万画素)であるということ。OV7670よりやや広い。

ということで、OV7670の読み出し時に32万画素になるよう、縦横に4バイトのダミーピクセルを付加して読み出しを行った。 その結果、ターミナルのログデータを.raw拡張子に変えた時点で、Picasa3のビューワでは画像として閲覧できるようになった。

(最初色がおかしかったのはデータ先頭に無駄なターミナルの送信文字が混入していたためで、ログしない設定にしたあとでは問題なく表示できた)

　RGBが正しく表示されるのは、読みだした画像が鏡像反転している(デフォルト)時で、レジスタで反転してしまうとカラーフィルタの順序が変わってしまい、Irfanviewでのみ正しい色をデコードできる。


Picasa3で正しく表示できたら、RAW現像ソフトを使ってみよう。UFRawというフリーソフトを使って、ある程度は露出やガンマ、彩度などを劣化なしで調整できる。　
　

　こちらでもカメラ名はSTV0680として認識された。
　調整はできるけど、破綻しない範囲はそんなに広くない。

　今は懐かしいSYLKYPIXのSTV0680用評価ソフトをXPのネットブックで立ち上げ、ファイルを出力してみる。
　

ちょっと赤っぽく調整してしまったが、発色が強調されている。

ここに使った写真は、開発中の基板のもので、何故か階調が飛び飛びになって縞々が発生している。　別に基板を起こしたボードでは縞々は出なかった。

OV7670ではフォーマットと出力解像度が複数選べるが、スケーリングによるサイズ設定はフォーマット毎に癖がある。RGB565だと、QQCIF(88x72)サイズまで安定して出力できた。　YUVはQQCIFが安定せず、RAWは実質VGAだけとおもったほうがよさそうだ。　　

Arduino Mini v5

Arduinoは様々な形態の互換機が売られているが、公式ボードだけでもかなりのバリエーションが存在する。

下は日本ではあまりお目にかからない、公式の最小ボード。Arduino mini v5

わけあってプロジェクトに組み込まれようとしているところ。

小さな箱はピンヘッダ付きの物を頼むとついてくる。

v5というリビジョンが示すように、実際は以前からラインナップされているのだが、Pro miniのほうが流通しているので知らない人も多いのでは。

公式のボードはどれも若干所有欲をくすぐるパッケージングがされている。

一見Arduino Pro mini(Sparkfun製)に似ているが、Pro miniよりもピンヘッダ1列分短い。ピン配列の他に、

・5Vのみ
・FTDI配列の書き込み器用のピンヘッダは付いてない。
・シリアル書き込みに必要な、DTRリセット用のコンデンサは付いてない

という点には注意が必要。 試作というより、Arduino UNO等で試作した回路を、基板に組み込むためのソリューションとして用意されていると考えると良いみたい。

小さな太陽電池パネルを作る

2センチ角程度で、開放電圧5V程度の太陽電池パネルが見つからないので自作してみた。

出来たもののスペックは、22x22mmで 4.5V 10mA。単結晶シリコンのモジュールとなった。

・・・・

100mW以下の太陽電池を選ぶときは、開放電圧におおよその最適動作点となる0.8を掛けた電圧が、負荷となる回路の動作電圧に近いものを選ぶと、自然とインピーダンスが合うので無理が無い。

お手本になったソーラーLEDライトの太陽電池の開放は4.5～5V付近で、8割だと3.6～4V付近となる。LEDに3.5V程度必要なので、その充電池を充電するのにちょうどよい値となっている。

 キーライト用途のほとんどはアモルファスシリコン。取り出してしまうと、ガラス基板なので結構デリケートだ。
 安いけれど効率はそれなり。写真のパネルで直射日光下で1～3mA程度。

 電池を1Fの電気二重層コンデンサに置き換え、PICを動かしてみたり(過去記事)しているけど、もう少し効率的なものが欲しい。 大きさに制限のあるものに組み込もうとすると、効率が低いことをカバーしようとすれば、負荷を軽減するしかない。

 ある程度の高効率を求めて、次に手を出してみたのが多結晶シリコンのパネル
中国の業者から輸入してみたもの。 モーター付きおもちゃなどに使われているもの。

 パネルは多結晶シリコンを基板に乗せて、エポキシ樹脂で封入したタイプ。
 ただ、小さいパネルは開放電圧が0.5Vだったり、1.5V程度のパネルしか見つからず失敗。
 いくつか直列につなげるしかなくて、せっかく正方形でも単体では生かしにくい。

 足りない電圧は昇圧という手段もあるけれど、実用的なのは数Wレベルのパネルでの話で、100mW以下だと変換効率によるロスが大きくなるという。

昇圧前提で真面目に考えるなら(若干観点がおかしいが)、家庭用ソーラパネルの単結晶セル(120x120mm)を買って、1枚をMPPT回路内蔵の昇圧ICで昇圧するのがちょうど良さそうだ。

………

ということでセルを買ってパネルを作ることにする。無いなら作るしかないじゃない!

アメリカの業者(SolarMade)から購入したのが、単結晶シリコンのセル。単セルで0.5V 10mA。 いくつかある中で一番小さなもの選択して、小面積で電圧を稼ぐ方針。
これを9個直列にするために、ユニバーサル基板に手作業で取り付けた。

セルを1枚カプトンで貼り付けてから、2箇所のスルーホールに裏からハンダを流し込んで、セルの裏面をハンダ付け、全部固定したあとに、電極間の接続はワイヤをほぐして取り出した単線を使った。 基板を起こしたらリフローに切り替えよう…。

効率測定

今までのパネルと効率の違いを簡単にくらべてみた。

 1F 5.5Vのスーパーキャパシタを使って、以前基板に載せたアモルファスシリコンパネルの2個並列バージョンと共に、電圧増加にかかる時間を比べてみた。 ちなみに面積はアモルファスシリコンのほうが3倍くらいとなる。
 増加時間はバラバラに測ったのであくまで傾向の確認だけ。

比較したもの

結果は、短絡電流の計測値による推測とだいたい符合した。 アモルファスシリコンの方は面積3倍くらいあるにもかかわらず、実際の効率はかなり低かったのだなあ、と。 アモルファスのパネル1枚と比較したら、自作パネルは8～9倍の差を出していることになる。

 GaAsセルには手が出ないので、現状では最も高効率な小型パネルとなった。

単結晶/多結晶シリコンの効率については、あくまで直射日光下での話なので、室内光ではアモルファスのほうが有利かもしれない。

正方形にかぎらず、セルの配置を変えれば、ロボットに貼り付ける際の自由度も上げることができそう。SolarSpinnerの設計をやり直すと面白そうだなあ。

試験用基板にはMSP430を取り付けて、発電量モニタを作ってみようと思う。