画像認識¶

物体を 1 つずつ数秒間 Reef のカメラの前にかざし、コンピューターで学習してボードにデプロイします。以後、ボードの NPU がカメラ映像中央の枠内にあるものを分類し、その答えをカメラ映像上に描画します。すべて IPRO AI Studio の Teach ページで行い、コードは不要です。

前提条件¶

• Edge AI ファームウェアを書き込んだ IPRO7AI Reef EVK。Edge AI ファームウェアの書き込みを参照してください。
• OV5640 カメラモジュール：ボードの電源を切った状態でケーブルを FPC1 に差し込み、SW7 を CAM にします。カメラケーブルを抜き差しするときは、必ず先に USB-C を抜いてください。
• Reef の USB-C とコンピューターを接続する USB-C データケーブル。
• インストール済みで、カメラの使用が許可された IPRO AI Studio。IPRO AI Studio のインストールを参照してください。

仕組み¶

• OV5640 は 1280×720 で撮影し、ISP が 2 つの出力を同時に生成します。1 つは 640×360 のプレビューで、MJPEG に圧縮して標準の USB カメラ（UVC）としてコンピューターに送ります。もう 1 つは中央の枠で、NPU 用に 128×128 に縮小します。
• プレビュー中央の枠は、モデルが見る範囲とまったく同じです。Teach ページはプレビューから同じ枠を学習用の画像（「クロップ」）として切り出します。
• モデルは固定された MobileNet バックボーンと分類層で構成されます。学習するのは最後の層だけなので、コンピューターの CPU で数秒で終わります。すべての層は NPU で実行されます。
• デプロイ時、Studio はモデルとクラス名を USB シリアルポート経由で送ります。ボードはサイズ、CRC-32、モデル形式を確認し、問題がない場合にのみモデルを Flash に書き込み、自動的に再起動します。
• ボードは結果を枠の外側に描画します。Teach ページは枠の内側から学習用の画像を切り出すため、枠の内側は常にカメラの生の画像のままです。

ボードの接続¶

Teach ページ¶

クラスの作成と記録¶

記録のヒント：

• 小さな物体はレンズに近づけて、枠の大部分を占めるようにします。
• 記録中は物体をゆっくり回したり、近づけたり遠ざけたりして、モデルがさまざまな角度と距離を見られるようにします。似た見た目の 2 つのクラスは、角度によっては混同されることがあります。そのような角度では多めに記録してください。
• 実際に使う照明と背景で記録します。学習では各クロップの左右反転コピーと 2 種類の明るさの変化が自動的に追加されるため、反転した映像を記録する必要はありません。
• プレビューはデフォルトでは反転しておらず、カメラが見ているとおりに表示されます。鏡のように動かしたい場合は Mirror にチェックを入れます。学習には影響しません。

学習¶

各クラスのクロップの 4 枚に 1 枚は学習から除外され、学習後のモデルの採点に使われます。これが Held-out accuracy です。1 回の記録のクロップは互いに似ているため、このスコアはクラスを区別できることを示すもので、新しい場面で正しく認識できることを示すものではありません。除外できるほどのクロップがない場合、ページに Too few crops to hold any out for checking. と表示されます。

結果に <A> taken for <B> (<n>x) と表示された場合、クラス A の n 枚のクロップが B に分類されたことを意味します。通常は記録中に物体が枠から出たことが原因です。両方のクラスで Review を押し、そのクロップを除外してから再度学習します。

メニューに表示される NPU 時間はおおよその値です。INTELPRO の測定では、Edge AI ファームウェア 2.0.0 で MobileNetV2 0.35 をボードの NPU で実行した場合、1 回あたり約 10.5 ms でした。

デプロイ¶

ボードはモデルを書き込む前に確認します。モデルが拒否された場合、ボード上の既存のモデルはそのまま残り、すぐにもう一度デプロイできます。書き込み中に電源やケーブルが切れた場合、スロットが 1 つしかない画像ツールはモデルのない状態になり、カメラ映像に NO MODEL: DEPLOY INTERRUPTED と表示されます。もう一度デプロイしてください。

ボード上での結果確認¶

デプロイ後、物体を枠に入れます。ボードの NPU がリアルタイムで分類し、結果をカメラ映像上に描画します：

Reef はこれを自身の USB カメラ映像に描画するため、Studio に限らず、USB カメラを開けるプログラムであればどれでも表示できます。

コンソールでも状態を確認できます：

動作確認¶

1. 各クラスの物体を枠に入れると、枠の左にその名前が表示され、枠の右ではその確率が最も高く、緑色で表示されます。
2. 枠が空のとき、結果は BACKGROUND になります。
3. 映像の下部のクラス数が Teach ページと一致します。
4. USB-C を抜いた後や再起動の後も、モデルはボードに残っています。映像に NO MODEL が表示されなくなり、Put it on the board に Running <n> classes: … と表示されます。

サンプルの追加と再学習¶

学習スコアは、集めたクロップを区別できることを示すだけです。実際の場面でテストし、ボードが間違えたら、その角度や照明で追加記録してから、再度学習してデプロイします：

1. 誤認識されたクラスを選択し、間違えたときの角度と照明で Hold to record を押し続けます。必要に応じて Review を押し、不良なクロップを除外します。
2. Train を押します。クラスやクロップを変更した後は、学習エリアに The crops changed since training. Train again. と表示されます。
3. Deploy を押します。

集めたデータは保存して再利用できます：

• Save…：フォルダーを選ぶと、Studio はクラスごとにサブフォルダーを作り、クロップを PNG ファイルとして書き出します。
• Open…：同じ構成のフォルダー（クラスごとに 1 つのサブフォルダー、.png または .jpg）を開くと、データを集め直さずにサンプルを追加したり再学習したりできます。128×128 の画像はそのままクロップとして使われ、それ以外のサイズはカメラのフレームとして扱われて中央の枠が切り出されます。フォルダー名がクラス名になります。

• 同じフォルダーをコマンドラインから、ウィンドウを使わずに学習してモデルパッケージにし、デプロイすることもできます：

  ipro-ai train image <folder> --out cups.ipkg --backbone mnv2_035
  ipro-ai deploy cups.ipkg --switch
  

  --backbone は mnv2_035（MobileNetV2 0.35）または mnv1_025（MobileNetV1 0.25）です。

仕様¶

ヒント¶

• BACKGROUND クラスを必ず用意してください。 これがないと、枠が空でもボードは既知のクラスのどれかを選びます。
• 画像認識には「わからない」という答えがありません。 教えていない物体は最も似たクラスに分類され、信頼度が高くなることもあります。映像に入りうるほかの物体には、クラス（例：OTHER）を追加して記録してください。
• 判定に使われるのは枠の内側だけです。枠の外側にしかない物体は認識されません。

トラブルシューティング¶

その他の問題はトラブルシューティングを参照してください。

次のステップ¶

• 声紋認識：同じ Reef に、誰が話しているかを教えます。
• ブラウザー版の画像 Teach：Studio を使わずに、Chrome または Edge で同じ流れを行います。