图像识别¶

把物品放到 Reef 的摄像头前录制几秒、在电脑上训练、部署到开发板，之后开发板的 NPU 会实时识别画面中央方框里的物品，并把结果叠加在摄像头画面上。全程在 IPRO AI Studio 的 Teach 页面完成，无需编写代码。

前提条件¶

• IPRO7AI Reef EVK 已烧录 Edge AI 固件，见烧录 Edge AI 固件。
• OV5640 摄像头模组：在断电状态下把排线插入 FPC1，并确认 SW7 在 CAM 位置。插拔摄像头排线前务必先拔掉 USB-C。
• 一条支持数据传输的 USB-C 线，连接 Reef 的 USB-C 与电脑。
• 已安装 IPRO AI Studio，并允许它使用摄像头，见安装 IPRO AI Studio。

工作原理¶

• OV5640 以 1280×720 采集，ISP 同时产生两路输出：640×360 的预览画面压缩成 MJPEG，作为标准 USB 摄像头（UVC）发送到电脑；画面中央的方框缩放成 128×128 送给 NPU。
• 预览画面中央的方框就是模型看到的范围。Teach 页面从预览画面中裁出同一个方框作为训练图片。
• 模型是冻结的 MobileNet 骨干网络加一个分类层，只训练最后一层，所以在电脑的 CPU 上几秒就能完成。每一层都在 NPU 上执行。
• 部署时，Studio 经 USB 串口把模型与类别名称发送到开发板；开发板先检查大小、CRC-32 与模型格式，确认无误才写入 Flash，再自动重启。
• 开发板把识别结果画在方框外面，方框里始终保持摄像头的原始图像，因为 Teach 页面要从这里裁出训练图片。

连接开发板¶

Teach 页面的界面¶

建立类别并录制¶

录制要点：

• 小物品要靠近镜头，让它占满方框的大部分。
• 录制时慢慢转动、前后移动物品，让模型看到不同的角度与距离。外观或颜色相近的两类，在某些角度可能互相误判，请在这些角度多补录。
• 在实际使用的光线与背景下录制。训练时会自动为每张图加上左右镜像与两种亮度变化，无需另外录制镜像。
• 预览画面默认不镜像，看到的就是摄像头实际拍到的方向；如果想像照镜子一样操作，勾选 Mirror，不影响训练。

训练¶

每一类每 4 张图片中留出 1 张不参与训练，训练完后用来评分，这就是 Held-out accuracy。同一次录制的图片彼此很像，所以这个分数只代表“这些类别能区分开”，不代表换一个场景也一样准确。图片太少、无法留出验证数据时，显示 Too few crops to hold any out for checking.。

结果中出现 <A> taken for <B> (<n>x) 时，表示有 n 张 A 类的图片被判为 B 类，常见原因是录制时物品离开了方框。对这两类点击 Review，删除这些图片后重新训练。

菜单上标示的 NPU 时间为近似值；INTELPRO 用 Edge AI 固件 2.0.0 实测，MobileNetV2 0.35 在板上 NPU 每次约 10.5 ms。

部署¶

开发板在写入前会先检查收到的模型；被拒绝时，板上原有的模型不受影响，可以直接再部署一次。写入过程中断电或拔线时，由于图像识别只有一个槽位，板上会没有模型，摄像头画面显示 NO MODEL: DEPLOY INTERRUPTED，重新部署即可。

在板上查看结果¶

部署完成后，把物品放进方框，开发板的 NPU 实时识别，并把结果叠加在摄像头画面上：

这个画面是 Reef 自己绘制到 USB 摄像头图像中的，任何能打开 USB 摄像头的程序都能看到，不限于 Studio。

在控制台也可以确认状态：

验证结果¶

1. 每一类物品放进方框时，方框左侧显示该类的名称，右侧该类的概率最高并以绿色显示。
2. 方框为空时显示 BACKGROUND。
3. 画面下方的类别数与 Teach 页面的类别数相同。
4. 重新插拔 USB-C 或重启后，模型仍在板上：摄像头画面不再显示 NO MODEL，Put it on the board 显示 Running <n> classes: …。

补录与重新训练¶

训练分数只代表采集到的图片能区分开。请在实际场景中测试，发现误判就针对那个角度或光线补录，再训练、部署一次：

1. 选中误判的类别，在误判的角度与光线下按住 Hold to record 补录；必要时点击 Review 删除不好的图片。
2. 点击 Train。类别或图片改变后，训练结果区域会提示 The crops changed since training. Train again.。
3. 点击 Deploy。

保存与重用采集到的图片：

• Save…：选择一个文件夹，Studio 在其中为每一类建立一个子文件夹，保存为 PNG 图片。
• Open…：打开同样结构的文件夹（每类一个子文件夹，.png 或 .jpg），就能补录或重新训练，无需从头采集。128×128 的图片直接作为训练图片，其他尺寸的图片作为摄像头画面，裁出中央方框。文件夹名称就是类别名称。

• 同一个文件夹也可以不打开窗口，用命令行训练成模型套件再部署：

  ipro-ai train image <文件夹> --out cups.ipkg --backbone mnv2_035
  ipro-ai deploy cups.ipkg --switch
  

  --backbone 可以是 mnv2_035（MobileNetV2 0.35）或 mnv1_025（MobileNetV1 0.25）。

规格¶

使用建议¶

• 必须有 BACKGROUND 类别。 没有它，方框为空时开发板仍会从已知类别中挑一个作为回答。
• 图像识别没有“不认识”这个答案。 没教过的物品会被归到最相似的一类，而且置信度可能很高。会出现在画面中的其他物品，请另外建立一个类别（例如 OTHER）并录制。
• 方框里的画面才是模型看到的内容；物品只出现在方框外时不会被识别。

故障排除¶

其他情况见故障排除。

下一步¶

• 声纹识别：让同一块 Reef 识别谁在说话。
• 浏览器版图像 Teach：无需安装 Studio，在 Chrome 或 Edge 中完成同样的流程。