スキップしてメイン コンテンツに移動

OV7670で取得したRAW画像をPCで表示する

CMOSカメラのOV7670を使って、RAW画像を取得し、PCで現像してみた。



電源の3.3V化改造を行ったArduino MEGA(1280)にビデオFIFO付きOV7670モジュールをとりつけて画像取得の実験をしている。　製造時期により、若干設計が違う製品がAliexpressでは入り乱れている。　トラ技のOV7670特集より以前に買っていたので、リビジョンが一つ古く、回路図が変更されていることに気づかず結構時間を取られた。 (古いモジュールはFIFOのWRSTが引き出されていて、VSYNCと繋がっていない)

 画像データ自体はビデオFIFO(AL422B)によって、カメラ側のクロックを気にせず好きなタイミングで読み出し可能だ。なので、あとはどういった解像度やフォーマットを選ぶかとなる。目的によって様々なサイズやフォーマットを使い分けることになるが、今回はVGAサイズの静止画を撮ることだけを考えてみたい。

　ということで、CMOSセンサの出力フォーマットの生の値である、BayerRAWで撮ってみた。
このFIFOつきカメラモジュールでVGA解像度を取得するなら、これが一番簡単だ。

OV7670の主な画像出力形式は次に示すものとなる。

・YUV  : 16bit/pixcek(4:2:2) ビデオ機器の色空間
・RGB  : 16bit/pixcel(565) ビットマップ
・RAW  : 8bit/pixcel センサの画素の生出力。

YUVとRGBはOV7670の内蔵DSPがエンコードした色空間フォーマットで、本来1画素1色しか表現できない一般的な撮像素子で、隣接する画素から色情報を補完したもの。

対してRAWは、画素毎のアナログ処理を経た生データ。 受け取った側では、画素上のベイヤーパターン(カラーフィルタの配列)と、縦横解像度の情報を元に色情報を補完(現像)する必要がある。

単純にデータサイズで見れば、RAWで出力するとデータ量は1バイト/Pixcelで済むため半分になり、384kBのFIFO付きモジュールでVGAサイズ1枚の画像を取得することができる。
　(YUV、RGBでもウインドウ機能を使って、FIFOの容量に収まるウインドウサイズ設定での取得は可能)

デジタル一眼レフで出力できるRAW画像は、1画素あたり16bit以上と階調が増えるため、よりダイナミックレンジの広い画像が撮影できる。

 実は高級なデジタルカメラでなくても、RAWフォーマットを採用していたカメラは過去に存在した。 カメラ付きケータイが出始めた頃、まだ高価なデジタルカメラの隙間商品として、30万画素、ディスプレイ無し、SDRAMに26枚撮影、というようなスペックのデジカメが流行っていた。そのころはまだおもちゃデジカメと呼ばれていたものだ。

その頃作ってた改造おもちゃデジカメ
　このおもちゃデジカメの機種を幾つかコレクションしている。(冒頭の機種はChe-ez!SPYZ)
SDRAMの容量は8MBしかないが、VGAサイズで26枚撮影できる。 RAM容量の節約のため、RAWのまま保存し、PCの読み出し時に専用ソフトで現像する方式だった。
　まだフォーマットを良く知らなかった高校の頃は、一枚約300kBしかないデータからどうやって900kBものビットマップ画像が生成されるんだろうかと不思議に思っていた。 

ところでOV7670のRAW画像を見るには…

やっとのことで本題に入ると、フリーの画像編集ソフト IrfanviewのRAWデコードプラグインを使って任意の解像度のRAW画像を表示する方法。

準備として、Irfanviewのサイトから、本体と、プラグインの詰め合わせをダウンロードしインストールしておく。　
　それから、ターミナルのログの拡張子を.rawに変更しておく。 

　Raw画像の復元に必要な情報は縦横のピクセル数と、データ中のRGBのカラーフィルタの並び順。 とりあえず、横のピクセル数が合っていれば画像としては見えるようになる。

 うまくプラグインがインストールできていれば、RawファイルをIrfanviewで開いた時に以下のウインドウが出現する。

設定項目
・画像の横幅、縦幅: 640x480
・ピクセルの階調: 8bit Pixcel
・個々のピクセルとフィルタの対応: Bayer Pattern usedの項目で、 GR, RG, BG,GBから選ぶ


うまく設定できると、まともな画像がデコードできる。 以下作例。 VGAサイズでの取得。
色がおかしい時は、Bayer Patturnを変えてみると良い。取得設定によっては、ピクセルがズレて正しい配列になっていないことがある。

　ちなみに、このプラグインでは2byte/PixcelのRGB画像もデコードして表示できる。　16BPPの項目で、目的のRGBフォーマットを選ぶだけだ。

特に修正無しでJPG化している

ピンぼけ気味


 レジスタ設定も関係してくるが、室内光で数メートル以内の対象を撮影すると思ったより綺麗に写る。 おもちゃデジカメでも同じ傾向があった。 30万画素のカメラはレンズも相まってたいてい近眼である。 

快晴下の公園の木々。偽色が発生している。
快晴下での撮影サンプル。細かいものを写すと、けっこう偽色が発生しているのがわかる。このへんは現像のパラメータをいじることができれば多少は改善するかもしれない。 Irfanviewでは現像パラメータの調整項目は無いので現像は下記参照。

　ここで冒頭で触れたおもちゃデジカメが再登場する。STV0680を搭載したカメラから出力されたRAW画像については、過去にSILKYPIXがサンプルプログラムを出していて、結構綺麗に現像できた。

OV7670の画像をPicasa3で表示したり、フリーソフトでRAW現像してみる


GoogleのPicasa3は、なぜかSTV0680系のカメラで撮影されたRaw画像を正常に表示できる。
Twainドライバが提供されていた名残りで、プロファイルを格納しているのだろうか?

ST製のCMOSセンサがOV7670と違う点は、センサの出力が644x484ピクセル(32万画素)であるということ。OV7670よりやや広い。

ということで、OV7670の読み出し時に32万画素になるよう、縦横に4バイトのダミーピクセルを付加して読み出しを行った。 その結果、ターミナルのログデータを.raw拡張子に変えた時点で、Picasa3のビューワでは画像として閲覧できるようになった。

(最初色がおかしかったのはデータ先頭に無駄なターミナルの送信文字が混入していたためで、ログしない設定にしたあとでは問題なく表示できた)

　RGBが正しく表示されるのは、読みだした画像が鏡像反転している(デフォルト)時で、レジスタで反転してしまうとカラーフィルタの順序が変わってしまい、Irfanviewでのみ正しい色をデコードできる。


Picasa3で正しく表示できたら、RAW現像ソフトを使ってみよう。UFRawというフリーソフトを使って、ある程度は露出やガンマ、彩度などを劣化なしで調整できる。　
　

　こちらでもカメラ名はSTV0680として認識された。
　調整はできるけど、破綻しない範囲はそんなに広くない。

　今は懐かしいSYLKYPIXのSTV0680用評価ソフトをXPのネットブックで立ち上げ、ファイルを出力してみる。
　
ちょっと赤っぽく調整してしまったが、発色が強調されている。

ここに使った写真は、開発中の基板のもので、何故か階調が飛び飛びになって縞々が発生している。　別に基板を起こしたボードでは縞々は出なかった。

OV7670ではフォーマットと出力解像度が複数選べるが、スケーリングによるサイズ設定はフォーマット毎に癖がある。RGB565だと、QQCIF(88x72)サイズまで安定して出力できた。　YUVはQQCIFが安定せず、RAWは実質VGAだけとおもったほうがよさそうだ。　　
Labels:

Popular posts

Arduino Nano Everyを試す

 秋月で売っていたAtmega8と、感光基板でエッチングしたArduino互換ボードを製作してみて、次に本家ボードも買って…  と気が付いたら10年が経過していた。  ハードウェア的な観点では、今は32bitMCUの低価格化、高性能化、低消費電力化が著しい。動作周波数も100MHz超えが当たり前で、30ｍA程度しか消費しない。  動作電圧範囲が広く、単純な8ビットMCUが不要になることはまだないだろうけど、クラシックなAVRマイコンは値上がりしており、価格競争力は無くなりつつある。 そしてコモディティ化により、公式ボードでは不可能な値付けの安価な互換ボードがたいていの需要を満たすようになってしまった。     Arduino Nano Every https://store.arduino.cc/usa/nano-every https://www.arduino.cc/en/Guide/NANOEvery  そんな中、Arduino本家がリリースした新しいNanoボードの一つ。  他のボード2種はATSAMD21(Cortex-M0+)と無線モジュールを搭載したArduino zero（生産終了済み）ベースのIoT向けボードだが、 Nano EveryはWifi Rev2と同じくAtmega4809を採用していて、安価で5V単電源な8ビットAVRボードだ。  Atmega4809はATmegaと名がついているが、アーキテクチャはXMEGAベースとなり、クラシックAVRとの間にレジスタレベルの互換性は無い。   https://blog.kemushicomputer.com/2018/08/megaavr0.html  もちろん、ArduinoとしてはArduinoAPIのみで記述されたスケッチやライブラリは普通に動作するし、Nano Every用のボードオプションとして、I/Oレジスタ操作についてはAPIでエミュレーションするコンパイルオプション（328Pモード）がある。 公式のMegaAVR0ボードはどれもブートローダーを使わず、オンボードデバッガで直接書き込みを行っている。  ボードを観察...
Read more »

CANトランシーバーを使わずにCAN通信をする

　CANバスの物理層は差動通信で、RS485の様にマルチドロップ接続が可能。 　自動車におけるノイズ環境でも通信が成立するように、トランシーバICには様々な対策が施されている。 　一方で、基板にマイコンを複数載せて、例えばブロードキャストメッセージを含んだ通信をさせたいとなったとき、ハードウェアとしてデータリンク層にあたるコントローラが実装されていて、メッセージフィルタ等が可能なCANバスは魅力的だ。しかし、長くても1ｍ未満の配線長で差動ドライバのバスを駆動するのは電力的なペナルティが大きい。 CANバスの構成 　トランシーバーには5Vレベルと3.3Vレベルの製品があり、車載以外だと省電力化のために3.3Vバスを採用する例があるらしい。（電圧が低いほうがドミナント時の電流は下がるので）製品によってはフォールトトレラントのための様々な機能が付加されている。 　 　トランシーバーをつかわず、UARTの様に単純に接続することもできる。過去にはこのようなアプリケーションノートがあった。 On-Board Communication via CAN without Transceiver https://www.mikrocontroller.net/attachment/28831/siemens_AP2921.pdf CANコントローラの入出力を1線式マルチドロップバスとしてつなぐことで、トランシーバーが無くても通信が可能になる。規格外の使い方ではあるけれど、大幅に単純、かつ省電力になる。 コントローラのみでの接続 R4 MinimaにはCANコントローラーが内蔵されているため、上記アプリケーションノートの様に接続してみた。ダイオード2個と数kΩのプルアップ抵抗だけでサンプルコードの通信ができた。 https://docs.arduino.cc/tutorials/uno-r4-minima/can 　とりあえず1Mbpsでも通信できていたけれど、Lowレベルの電位が下がり切っていないので、OD出力のバッファをTXに挟むとよいかもしれない。　 R4 Minimaのコントローラのみで通信させている様子(250kbps) https://github.com/sandeepmistry/arduino-CAN/blob/master/API.md ライブラリの実装は以下で確認...
Read more »

GPSアンテナをつくる

GPSアンテナを作ってみた｡ 1575MHzの波長は約19cmなので､半波長で9.5cmとなる｡ GHz帯とはいえ､結構長いものだなぁ｡ セラミック等の誘電体がなければ､平面アンテナで真面目に半波長アンテナを作ろうとすると手のひらサイズの面積が必要になってしまう｡ 普通のダイポールだと指向性があるので､交差させてクロスダイポールにする｡ 屋外地上局のアマチュア衛星用アンテナの設計をそのまま縮小したもの｡ 水平パターンはややいびつ 92.2mmの真鍮の針金(Φ=0.5mmくらい)を2本用意して､42.3mmで90°に曲げる｡ 長さの同じ素子同士を並べて配置する｡ (全長が半波長より長い素子と短い素子が交差した状態) 片方をアンテナ信号線､もう片方をGNDにつなげば完成｡ 実際5分くらいでつくったけれど､果たしてどうだろうか｡ 今回は､道具箱に眠っていた表面実装タイプのMT3339系モジュールに取り付けた｡ アンテナはもともと3x1.2mm程度のとても小さいチップアンテナで､ LNAが入っているけど感度が悪かったのでお蔵入りしていた代物｡ 最近の携帯機器はみなアンテナに厳しい｡ さて･･･ クロスダイポール版モジュールをPCでモニタしたウインドウ(左)と､QZ-Rader画面 東側に建物遮蔽があるので､そちら側の衛星はSNが悪い｡ とりあえず補足できた衛星数はシミュレーションされたものとほぼおなじだった｡ アンテナの角度をいろいろ振って､逆さまにしてもロストすることはなかった｡ セラミックのパッチアンテナレベルにはなったかな･･･｡ 簡単にできてそれなりに測位するけれど､携帯性は皆無になった｡ あと､近接周波数の干渉を受けやすいかもしれない｡ GPSアンテナのDIY例としては､QFHアンテナもある｡ ラジオゾンデなどで使われている例がある｡ いつもお世話になっているQFHアンテナ計算シートのサイト https://www.jcoppens.com/ant/qfh/fotos_gps.en.php ヘリカルアンテナは加工精度の難易度が上がるので､今回はクロスダイポールにした｡ GNSSとなると､複数の周波数のために調整されているセラミックパッチアンテナが有利だと思う｡ セラミックパッチア...
Read more »

UNO R4 Minimaの仕様を眺める

CANバス内蔵Classicボードたち。　しかし割高になってしまった… Uno R4 Minimaを入手したので遊びつつ、どのような実装になっているのか、仕様を眺めてみた。 UNOは現在のArduino製品の中ではClassic Familyというカテゴリに入っており、歴史的なフォームファクタを継承している。ルネサス製MCUの採用で話題だけれど、5V単電源動作可能なARMマイコンとしては高機能だ。 要点としては、初学者向けのClassicファミリにCortex-M4が降りてきて、内蔵RTC、DAC出力、CANバスといった機能にもAPIレベルで対応しているという点になる。 　スペックだけ見ると、反射的に3.3Vで動いてほしいとかいろいろ要望が湧いてくるが、ターゲットはあくまで初心者なのを忘れないようにする。　（いい感じの互換ボードに期待） ボードとピンマップを眺める 公式サイトのボード紹介ページでは、回路図と基板図をAltium365ビューワーで見ることができるようになっていた。回路図で抵抗を選択すると詳細が表示されるし、基板図上の実装と連携して位置をハイライトできたりする。 Minimaの実際の基板には16MHzの水晶は空きパターンとなっている。内蔵オシレーターで動いているようだ。 Minima　回路図 https://docs.arduino.cc/resources/schematics/ABX00080-schematics.pdf Wifi　R4回路図 https://docs.arduino.cc/resources/schematics/ABX00087-schematics.pdf MinimaとWifi R4ではソケットに引き出されたSPIバスのマッピングが異なっている。これに伴いCANで使うピンも位置が変わっている。APIが用意されてるのにピンマップ表で表記していないのはボード依存のためかもしれない。　CANを使いたければシールド設計で対処するしかなさそう。 　他にも、Minimaのソケットの3.3V出力は、Minimaのデータシートに書いてある通りMCUの内部電圧を生成しているLDOの出力を引き出している。そこまでやるのかというくらい割り切っている。 　内部レギュレータから引き出せる電流量はArduinoとしては表向き載っていないけれど、ルネサス...
Read more »