影像辨識¶

把物品拿到 Reef 的相機前錄幾秒、在電腦上訓練、部署到板子，之後板子的 NPU 會即時辨識畫面中央方框裡的物品，並把結果疊在相機畫面上。全程在 IPRO AI Studio 的 Teach 頁完成，不需要寫程式。

前置需求¶

• IPRO7AI Reef EVK 已燒錄 Edge AI 韌體，見燒錄 Edge AI 韌體。
• OV5640 相機模組：在斷電狀態下把排線插進 FPC1，並確認 SW7 在 CAM。插拔相機排線前一定先拔掉 USB-C。
• 一條可傳資料的 USB-C 線，接 Reef 的 USB-C 與電腦。
• 已安裝 IPRO AI Studio，並允許它使用相機，見安裝 IPRO AI Studio。

運作方式¶

• OV5640 以 1280×720 擷取，ISP 同時產生兩路輸出：640×360 的預覽畫面壓成 MJPEG，以標準 USB 攝影機（UVC）送到電腦；畫面中央的方框縮成 128×128 送給 NPU。
• 預覽畫面中央的方框就是模型看到的範圍。Teach 頁從預覽畫面裁出同一個方框當訓練圖片。
• 模型是凍結的 MobileNet 骨幹加一個分類層，只訓練最後一層，所以在電腦的 CPU 上幾秒就完成。每一層都在 NPU 上執行。
• 部署時，Studio 經 USB 序列埠把模型與類別名稱送進板子；板子先檢查大小、CRC-32 與模型格式，確認無誤才寫入 Flash，再自動重新開機。
• 板子把辨識結果畫在方框外面，方框裡永遠保持相機的原始影像，因為 Teach 頁要從這裡裁出訓練圖片。

連上板子¶

Teach 頁介面¶

建立類別並錄製¶

錄製要點：

• 小東西要靠近鏡頭，讓它占滿大部分的方框。
• 錄製時慢慢轉動、前後移動物品，讓模型看到不同的角度與距離。外觀或顏色相近的兩類，某些角度可能互相誤判，請在這些角度多補錄。
• 在實際使用的光線與背景下錄製。訓練時會自動為每張圖加上左右鏡像與兩種亮度變化，不必另外錄鏡像。
• 預覽畫面預設不鏡像，看到的就是相機實際拍到的方向；要像照鏡子一樣操作，勾選 Mirror，不影響訓練。

訓練¶

每一類每 4 張圖片中保留 1 張不參與訓練，訓練完用來評分，這就是 Held-out accuracy。同一次錄製的圖片彼此很像，所以這個分數只代表「這些類別分得開」，不代表換一個場景也一樣準。圖片太少、無法保留驗證資料時，顯示 Too few crops to hold any out for checking.。

結果出現 <A> taken for <B> (<n>x) 時，表示有 n 張 A 類的圖片被判成 B 類，常見原因是錄製時物品離開了方框。對這兩類按 Review，刪掉這些圖片後重新訓練。

選單上標示的 NPU 時間為概略值；INTELPRO 以 Edge AI 韌體 2.0.0 實測，MobileNetV2 0.35 在板上 NPU 每次約 10.5 ms。

部署¶

板子在寫入前會先檢查收到的模型；被拒絕時，板上原有的模型不受影響，可以直接再部署一次。寫入途中斷電或拔線時，影像辨識只有一個分格，板上會沒有模型，相機畫面顯示 NO MODEL: DEPLOY INTERRUPTED，重新部署即可。

在板上看結果¶

部署完成後，把物品放進方框，板子的 NPU 即時辨識，並把結果疊在相機畫面上：

這個畫面是 Reef 自己畫進 USB 攝影機影像的，任何能開啟 USB 攝影機的程式都看得到，不限於 Studio。

在主控台也可以確認狀態：

確認結果¶

1. 每一類的物品放進方框時，方框左側顯示該類的名稱，右側該類的機率最高並以綠色顯示。
2. 方框空著時顯示 BACKGROUND。
3. 畫面下方的類別數與 Teach 頁的類別數相同。
4. 拔插 USB-C 或重新開機後，模型仍在板上：相機畫面不再顯示 NO MODEL，Put it on the board 顯示 Running <n> classes: …。

補錄與再訓練¶

訓練分數只代表收集到的圖片分得開。請在實際場景測試，發現誤判就針對那個角度或光線補錄，再訓練、部署一次：

1. 選取誤判的類別，在誤判的角度與光線下按住 Hold to record 補錄；必要時按 Review 刪掉不好的圖片。
2. 按 Train。類別或圖片改變後，訓練結果區會提示 The crops changed since training. Train again.。
3. 按 Deploy。

保存與重用收集到的圖片：

• Save…：選一個資料夾，Studio 在裡面為每一類建一個子資料夾，存成 PNG 圖片。
• Open…：開啟同樣結構的資料夾（每類一個子資料夾，.png 或 .jpg），就能補錄或重新訓練，不必從頭收集。128×128 的圖片直接當訓練圖片，其他尺寸的圖片當作相機畫面，裁出中央方框。資料夾名稱就是類別名稱。

• 同一個資料夾也可以不開視窗，以命令列訓練成模型套件再部署：

  ipro-ai train image <資料夾> --out cups.ipkg --backbone mnv2_035
  ipro-ai deploy cups.ipkg --switch
  

  --backbone 可以是 mnv2_035（MobileNetV2 0.35）或 mnv1_025（MobileNetV1 0.25）。

規格¶

使用建議¶

• 一定要有 BACKGROUND 類別。 沒有它，方框空著時板子仍會從已知類別中挑一個回答。
• 影像辨識沒有「不認識」這個答案。 沒教過的物品會被歸到最像的一類，而且信心度可能很高。會出現在畫面中的其他物品，請另外建立一個類別（例如 OTHER）並錄製。
• 方框裡的畫面才是模型看到的內容；物品只出現在方框外時不會被辨識。

疑難排解¶

其他狀況見疑難排解。

下一步¶

• 聲紋辨識：讓同一片 Reef 認得誰在說話。
• 瀏覽器版影像 Teach：不安裝 Studio，在 Chrome 或 Edge 做同樣的流程。