スキップしてメイン コンテンツに移動

OV7670で取得したRAW画像をPCで表示する

CMOSカメラのOV7670を使って、RAW画像を取得し、PCで現像してみた。



電源の3.3V化改造を行ったArduino MEGA(1280)にビデオFIFO付きOV7670モジュールをとりつけて画像取得の実験をしている。　製造時期により、若干設計が違う製品がAliexpressでは入り乱れている。　トラ技のOV7670特集より以前に買っていたので、リビジョンが一つ古く、回路図が変更されていることに気づかず結構時間を取られた。 (古いモジュールはFIFOのWRSTが引き出されていて、VSYNCと繋がっていない)

 画像データ自体はビデオFIFO(AL422B)によって、カメラ側のクロックを気にせず好きなタイミングで読み出し可能だ。なので、あとはどういった解像度やフォーマットを選ぶかとなる。目的によって様々なサイズやフォーマットを使い分けることになるが、今回はVGAサイズの静止画を撮ることだけを考えてみたい。

　ということで、CMOSセンサの出力フォーマットの生の値である、BayerRAWで撮ってみた。
このFIFOつきカメラモジュールでVGA解像度を取得するなら、これが一番簡単だ。

OV7670の主な画像出力形式は次に示すものとなる。

・YUV  : 16bit/pixcek(4:2:2) ビデオ機器の色空間
・RGB  : 16bit/pixcel(565) ビットマップ
・RAW  : 8bit/pixcel センサの画素の生出力。

YUVとRGBはOV7670の内蔵DSPがエンコードした色空間フォーマットで、本来1画素1色しか表現できない一般的な撮像素子で、隣接する画素から色情報を補完したもの。

対してRAWは、画素毎のアナログ処理を経た生データ。 受け取った側では、画素上のベイヤーパターン(カラーフィルタの配列)と、縦横解像度の情報を元に色情報を補完(現像)する必要がある。

単純にデータサイズで見れば、RAWで出力するとデータ量は1バイト/Pixcelで済むため半分になり、384kBのFIFO付きモジュールでVGAサイズ1枚の画像を取得することができる。
　(YUV、RGBでもウインドウ機能を使って、FIFOの容量に収まるウインドウサイズ設定での取得は可能)

デジタル一眼レフで出力できるRAW画像は、1画素あたり16bit以上と階調が増えるため、よりダイナミックレンジの広い画像が撮影できる。

 実は高級なデジタルカメラでなくても、RAWフォーマットを採用していたカメラは過去に存在した。 カメラ付きケータイが出始めた頃、まだ高価なデジタルカメラの隙間商品として、30万画素、ディスプレイ無し、SDRAMに26枚撮影、というようなスペックのデジカメが流行っていた。そのころはまだおもちゃデジカメと呼ばれていたものだ。

その頃作ってた改造おもちゃデジカメ
　このおもちゃデジカメの機種を幾つかコレクションしている。(冒頭の機種はChe-ez!SPYZ)
SDRAMの容量は8MBしかないが、VGAサイズで26枚撮影できる。 RAM容量の節約のため、RAWのまま保存し、PCの読み出し時に専用ソフトで現像する方式だった。
　まだフォーマットを良く知らなかった高校の頃は、一枚約300kBしかないデータからどうやって900kBものビットマップ画像が生成されるんだろうかと不思議に思っていた。 

ところでOV7670のRAW画像を見るには…

やっとのことで本題に入ると、フリーの画像編集ソフト IrfanviewのRAWデコードプラグインを使って任意の解像度のRAW画像を表示する方法。

準備として、Irfanviewのサイトから、本体と、プラグインの詰め合わせをダウンロードしインストールしておく。　
　それから、ターミナルのログの拡張子を.rawに変更しておく。 

　Raw画像の復元に必要な情報は縦横のピクセル数と、データ中のRGBのカラーフィルタの並び順。 とりあえず、横のピクセル数が合っていれば画像としては見えるようになる。

 うまくプラグインがインストールできていれば、RawファイルをIrfanviewで開いた時に以下のウインドウが出現する。

設定項目
・画像の横幅、縦幅: 640x480
・ピクセルの階調: 8bit Pixcel
・個々のピクセルとフィルタの対応: Bayer Pattern usedの項目で、 GR, RG, BG,GBから選ぶ


うまく設定できると、まともな画像がデコードできる。 以下作例。 VGAサイズでの取得。
色がおかしい時は、Bayer Patturnを変えてみると良い。取得設定によっては、ピクセルがズレて正しい配列になっていないことがある。

　ちなみに、このプラグインでは2byte/PixcelのRGB画像もデコードして表示できる。　16BPPの項目で、目的のRGBフォーマットを選ぶだけだ。

特に修正無しでJPG化している

ピンぼけ気味


 レジスタ設定も関係してくるが、室内光で数メートル以内の対象を撮影すると思ったより綺麗に写る。 おもちゃデジカメでも同じ傾向があった。 30万画素のカメラはレンズも相まってたいてい近眼である。 

快晴下の公園の木々。偽色が発生している。
快晴下での撮影サンプル。細かいものを写すと、けっこう偽色が発生しているのがわかる。このへんは現像のパラメータをいじることができれば多少は改善するかもしれない。 Irfanviewでは現像パラメータの調整項目は無いので現像は下記参照。

　ここで冒頭で触れたおもちゃデジカメが再登場する。STV0680を搭載したカメラから出力されたRAW画像については、過去にSILKYPIXがサンプルプログラムを出していて、結構綺麗に現像できた。

OV7670の画像をPicasa3で表示したり、フリーソフトでRAW現像してみる


GoogleのPicasa3は、なぜかSTV0680系のカメラで撮影されたRaw画像を正常に表示できる。
Twainドライバが提供されていた名残りで、プロファイルを格納しているのだろうか?

ST製のCMOSセンサがOV7670と違う点は、センサの出力が644x484ピクセル(32万画素)であるということ。OV7670よりやや広い。

ということで、OV7670の読み出し時に32万画素になるよう、縦横に4バイトのダミーピクセルを付加して読み出しを行った。 その結果、ターミナルのログデータを.raw拡張子に変えた時点で、Picasa3のビューワでは画像として閲覧できるようになった。

(最初色がおかしかったのはデータ先頭に無駄なターミナルの送信文字が混入していたためで、ログしない設定にしたあとでは問題なく表示できた)

　RGBが正しく表示されるのは、読みだした画像が鏡像反転している(デフォルト)時で、レジスタで反転してしまうとカラーフィルタの順序が変わってしまい、Irfanviewでのみ正しい色をデコードできる。


Picasa3で正しく表示できたら、RAW現像ソフトを使ってみよう。UFRawというフリーソフトを使って、ある程度は露出やガンマ、彩度などを劣化なしで調整できる。　
　

　こちらでもカメラ名はSTV0680として認識された。
　調整はできるけど、破綻しない範囲はそんなに広くない。

　今は懐かしいSYLKYPIXのSTV0680用評価ソフトをXPのネットブックで立ち上げ、ファイルを出力してみる。
　
ちょっと赤っぽく調整してしまったが、発色が強調されている。

ここに使った写真は、開発中の基板のもので、何故か階調が飛び飛びになって縞々が発生している。　別に基板を起こしたボードでは縞々は出なかった。

OV7670ではフォーマットと出力解像度が複数選べるが、スケーリングによるサイズ設定はフォーマット毎に癖がある。RGB565だと、QQCIF(88x72)サイズまで安定して出力できた。　YUVはQQCIFが安定せず、RAWは実質VGAだけとおもったほうがよさそうだ。　　
Labels:

Popular posts

Arduino Nano Everyを試す

 秋月で売っていたAtmega8と、感光基板でエッチングしたArduino互換ボードを製作してみて、次に本家ボードも買って…  と気が付いたら10年が経過していた。  ハードウェア的な観点では、今は32bitMCUの低価格化、高性能化、低消費電力化が著しい。動作周波数も100MHz超えが当たり前で、30ｍA程度しか消費しない。  動作電圧範囲が広く、単純な8ビットMCUが不要になることはまだないだろうけど、クラシックなAVRマイコンは値上がりしており、価格競争力は無くなりつつある。 そしてコモディティ化により、公式ボードでは不可能な値付けの安価な互換ボードがたいていの需要を満たすようになってしまった。     Arduino Nano Every https://store.arduino.cc/usa/nano-every https://www.arduino.cc/en/Guide/NANOEvery  そんな中、Arduino本家がリリースした新しいNanoボードの一つ。  他のボード2種はATSAMD21(Cortex-M0+)と無線モジュールを搭載したArduino zero（生産終了済み）ベースのIoT向けボードだが、 Nano EveryはWifi Rev2と同じくAtmega4809を採用していて、安価で5V単電源な8ビットAVRボードだ。  Atmega4809はATmegaと名がついているが、アーキテクチャはXMEGAベースとなり、クラシックAVRとの間にレジスタレベルの互換性は無い。   https://blog.kemushicomputer.com/2018/08/megaavr0.html  もちろん、ArduinoとしてはArduinoAPIのみで記述されたスケッチやライブラリは普通に動作するし、Nano Every用のボードオプションとして、I/Oレジスタ操作についてはAPIでエミュレーションするコンパイルオプション（328Pモード）がある。 公式のMegaAVR0ボードはどれもブートローダーを使わず、オンボードデバッガで直接書き込みを行っている。  ボードを観察してみると、プログラマ・USBCDCとしてATSAMD21が搭載されている（中央の四角いQFNパッケージ）MCU的にはnEDBG
Read more »

【サボテン】太陽電池の結線

 久しぶりにサボテン計画。 忙しかったり投薬治療直前でだるかったりして、かなり放置していた。 さぼてんも不機嫌そうだ。 せっかくなので、園芸用の水受けに移す。  関節痛で寝込んでる間に、エイプリルフール終わってましたね＾＾･･･。  太陽電池の展開機構を想像したが、まずは太陽電池の結線を済ませよう。  配線を綺麗にまとめたくていろいろ探していたら、千石電商でぴったりなものを見つけた。 LEDリング基板 というらしい http://www.led-paradise.com/product/629?  本来はチップLEDをリング状にまとめる代物。 イレギュラーな使い道だ。   今度は小径のを買って、GX200のリングライトに仕立て上げよう。   嬉しいことにフレーム径にジャストフィット。 配線を綺麗にまとめられた。   太陽電池の接続部。逆流防止用にショットキーダイオードを入れている。 かなりスッキリ。 蛍光灯下 500ルクスでの実験。 EDLCは10Fを使用。  ちゃんと充電が行われている。 といっても、とてもとてもゆっくりとだけれど･･･。
Read more »

ATmega4809(megaAVR0)を試す

megaAVR 0という新しいAVRシリーズを試してみた｡  小さいパッケージなのに､UARTが4本もあるのが気になったのがきっかけ｡ 登場すると噂の Arduino Uno Wifi rev2  にも採用されるらしい｡  簡単にデータシートを眺めてみると､アーキテクチャはXmegaシリーズを簡素化し、動作電圧範囲を広げたもののようだ。  CPUの命令セットはAVRxtと新しくなっているが、Xmegaで拡張された一部の命令（DESやUSBで使われる命令）が削除されていて、基本的に今までのATmegaとほぼ同じだ。  コンパイラからは、先に登場した新しいtinyAVR0, tinyAVR1シリーズと共にAVR8Xと呼ばれて区別されている。  CPU周りを見てみると､割り込みレベルなど､今までのクラシックなATmegaで足りないなと思っていたものがかなり強化されていた｡ ArduinoAPIを再実装するとしたら便利そうなペリフェラルもだいたい揃っている｡ データシート P6  DMAは無いけれど､周辺機能にイベント駆動用の割り込みネットワークが張り巡らされているのがわかる｡  できるだけCPUを介在させない使い方がいろいろ提案されているので、アプリケーションノートやマニュアルを読み込むことになる。 ピックアップした特徴 ･データメモリ空間(64kB)に統合されたFlashROMとEEPROM ･RAM 6kB ROM 最大48kB (メモリ空間制限のため) ･デバッグ専用の端子 UPDIを搭載 ･優先度付きの割り込み(NMIと2レベル) ･ピン単位の割り込み（かなり複雑になった） ･リセットコントローラ（ソフトウェアリセット用レジスタが実装され、リセット原因が何だったかもリセット後に読み出せるようになった） ･豊富な16ビットタイマ(4809では5基） ･16ビット リアルタイムカウンタ(RTC) ･豊富な非同期シリアル/同期シリアル(USART 4ch､SPI 1ch,TWI 1ch) ･内蔵クロックは最高20MHz(PLL)と32kHzの2種類。外部クロックは発振器と時計用水晶のみ ･ADCは10bit 16ch ･内蔵VREF電圧が5種類と多い(0.55V,1.1V,1.5V.2.5V.4.3V
Read more »

GPSアンテナをつくる

GPSアンテナを作ってみた｡ 1575MHzの波長は約19cmなので､半波長で9.5cmとなる｡ GHz帯とはいえ､結構長いものだなぁ｡ セラミック等の誘電体がなければ､平面アンテナで真面目に半波長アンテナを作ろうとすると手のひらサイズの面積が必要になってしまう｡ 普通のダイポールだと指向性があるので､交差させてクロスダイポールにする｡ 屋外地上局のアマチュア衛星用アンテナの設計をそのまま縮小したもの｡ 水平パターンはややいびつ 92.2mmの真鍮の針金(Φ=0.5mmくらい)を2本用意して､42.3mmで90°に曲げる｡ 長さの同じ素子同士を並べて配置する｡ (全長が半波長より長い素子と短い素子が交差した状態) 片方をアンテナ信号線､もう片方をGNDにつなげば完成｡ 実際5分くらいでつくったけれど､果たしてどうだろうか｡ 今回は､道具箱に眠っていた表面実装タイプのMT3339系モジュールに取り付けた｡ アンテナはもともと3x1.2mm程度のとても小さいチップアンテナで､ LNAが入っているけど感度が悪かったのでお蔵入りしていた代物｡ 最近の携帯機器はみなアンテナに厳しい｡ さて･･･ クロスダイポール版モジュールをPCでモニタしたウインドウ(左)と､QZ-Rader画面 東側に建物遮蔽があるので､そちら側の衛星はSNが悪い｡ とりあえず補足できた衛星数はシミュレーションされたものとほぼおなじだった｡ アンテナの角度をいろいろ振って､逆さまにしてもロストすることはなかった｡ セラミックのパッチアンテナレベルにはなったかな･･･｡ 簡単にできてそれなりに測位するけれど､携帯性は皆無になった｡ あと､近接周波数の干渉を受けやすいかもしれない｡ GPSアンテナのDIY例としては､QFHアンテナもある｡ ラジオゾンデなどで使われている例がある｡ いつもお世話になっているQFHアンテナ計算シートのサイト https://www.jcoppens.com/ant/qfh/fotos_gps.en.php ヘリカルアンテナは加工精度の難易度が上がるので､今回はクロスダイポールにした｡ GNSSとなると､複数の周波数のために調整されているセラミックパッチアンテナが有利だと思う｡ セラミックパッチア
Read more »