声紋認識¶

1 人あたり約 20 秒間、文章を読み上げて登録します。その後、Reef は 1 秒ごとに誰が話しているかを表示します。登録済みの人は名前で、それ以外の人は Speaker 1、Speaker 2 などと表示され、後から名前を付けることもできます。計算はすべてボード上で行われ、声紋はボードの Flash に保存され、音声がボードの外に出ることはありません。コンピューターでは IPRO AI Studio の Audio ページを使います。このページの図中の名前（Amy、Ben、Cleo）は例です。

前提条件¶

• Edge AI ファームウェアを書き込み、mfg ペイロードに声紋モデル model_b.spkb を含めた IPRO7AI Reef EVK。Edge AI ファームウェアの書き込みを参照してください。
• Reef の USB-C とコンピューターを接続する USB-C データケーブル。声紋認識はボードの PDM マイクを使うため、カメラは不要です。
• インストール済みの IPRO AI Studio。IPRO AI Studio のインストールを参照してください。
• 静かな部屋。登録と聞き取りには Reef 自身のマイクを使います。

仕組み¶

• ボードの PDM マイクの音声は 16 kHz にリサンプリングされ、直近 32 秒を保持するリングバッファーに入ります。
• ボードは 1 秒ごとに直近 2.6 秒を取り出してログメルスペクトログラムを計算し、NPU 上の声紋ネットワークと、CPU 上のプーリング層と全結合層に通して、192 個の値からなる声紋を得ます。
• 登録 では、読み上げ中の発話を含む 2.6 秒の区間をそれぞれ声紋に変換して平均し、結果を Flash の media パーティションに保存します。
• 聞き取り 中は、毎秒の声紋を登録済みの人と比較します（コサイン類似度）。最も高いスコアが名前しきい値に達すれば、その名前を表示します。誰も達しない場合は現在の匿名話者と比較し、新規話者しきい値を下回れば新しい匿名話者を作ります。
• コンピューターはコマンドを送り、ボードから返されたラベルを表示するだけです。録音中や聞き取り中は Reef の RGB LED が赤く点灯します。

ボードの接続¶

ボードの USB シリアルポートを開けるプログラムは一度に 1 つだけです。Audio ページを使っている間は、このポートを開いているほかのプログラムを閉じてください。Audio ページから離れると、聞き取りは停止します。

Audio ページ¶

話者の登録¶

consistency が 0.8 未満の場合は登録し直してください：ボードに近づき、その人が実際に聞き取られる場所と声で行います。この場合は Studio が知らせます。同じ名前でもう一度登録すると声紋が置き換えられます。その前に、ページが Record again ダイアログで確認します。

登録に失敗すると、ページに Could not save <name>: と理由が表示されます：

リアルタイムの話者識別¶

匿名話者への名前付け¶

登録されていない人は、ボードが 3 秒間その声を聞くと、タイムラインに Speaker 1、Speaker 2… として表示され、NOT ENROLLED エリアに Speaker 2 · 26 s · Name… のようなタグとして表示されます（26 s はボードがその人の声を聞いた時間）。

1. そのタグの Name… をクリックします。
2. Name a speaker ダイアログで名前を入力して確定します。

ボードは直前に聞いたその話者の音声を声紋として保持し、以後はその名前を表示します。読み上げは不要です。

声紋の削除¶

ENROLLED 一覧の人の横にある Remove を押して確定すると、その人の声紋が削除されます。全員を削除すると、ステータス行の ENROLLED は 0 になり、一覧に Nobody enrolled yet. と表示されます。タイムラインにすでに表示されている内容は変わりません。

しきい値と Stranger モード¶

THRESHOLDS を展開して 2 つのしきい値（コサイン類似度、0.1～0.95）を設定し、Set を押します。しきい値とモードは声紋とともにボードに保存され、再起動後も保持されます。

Stranger mode のチェックを入れる・外すとモードが切り替わり、ステータス行の MODE に stranger または normal と表示されます。切り替えると、両方のしきい値がそのモードのデフォルトに戻ります。コンソールの spk mode stranger と spk mode normal でも同じことができます。

Stranger モードでは、登録されていない人が別の人の名前で表示されにくくなります。ボードは比較の前に、室内のすべての声に共通する成分（マイク、部屋、スピーカーの影響）を取り除き、ボードが聞いた未登録の人はそれぞれ自分の Speaker 番号を保ちます。

Stranger モードには質の良い登録が必要です。consistency の低い人は匿名として表示されることが多くなり、未登録の 2 人が 1 つの番号にまとめられることもあります。consistency が 0.8 未満のときは、必ず登録し直してください。

コンソールコマンド¶

voice モードのコンソール（U6、115200 baud）では、デバッグ用に Audio ページと同じ操作ができます：

コンソールは ASCII のみ受け付けます。漢字を含む名前は Audio ページで入力してください。

動作確認¶

1. 登録後、名前が ENROLLED 一覧にあり、consistency が 0.8 以上です。
2. Start listening の後、RGB LED が赤く点灯します。登録済みの人が話し始めてから約 2.6 秒後に、その人の行にブロックが表示され、現在の話者にその人の名前と類似度が表示されます。
3. 登録されていない人が話すと、タイムラインに Speaker k が表示され、NOT ENROLLED にその人のタグが表示されます。
4. 再起動後に Audio ページに戻っても、ENROLLED の数は変わりません。

声紋モデルの変更¶

声紋モデル model_b.spkb（モデル名 b3-e12）は mfg ペイロードとともに書き込まれます。代わりに USB でデプロイするには、モデルパッケージを作成し、コマンドラインから声紋ツールにデプロイします：

ipro-ai model pack model_b.spkb -o voice.ipkg
ipro-ai deploy voice.ipkg --switch

登録済みの声紋はモデルの CRC に結び付いています。別の声紋モデルに変更すると登録一覧はクリアされ、全員が登録し直す必要があります。ファームウェアのみを更新した場合は、モデルと登録済みの人はどちらも保持されます。IPRO AI Studio 0.4.2 の Audio ページには、モデルをデプロイするボタンはありません。

仕様と制限¶

• 別のマイクで登録した声紋は、Reef で聞いた同じ人の声とあまり一致しません。登録と聞き取りには Reef 自身のマイクを使ってください。
• スピーカーで再生すると、異なる人の声紋が似てきます。スピーカーや録音でテストするときは Stranger モードをオンにしてください。
• 話者ごとに 2.6 秒より短い区間や、2 人が同時に話している区間は、個別にラベル付けできません。
• 発話の検出は音の大きさで判定するため、音楽やテレビも発話とみなされます。継続的な背景音から離れた、静かな部屋で使ってください。
• 匿名話者は聞き取り中にクラスタリングされ、後からまとめられることはありません。1 人が 2 人に分かれた場合は、どちらかに名前を付けるか、新規話者しきい値を調整してください。
• なまり、残響、話す距離は場所によって異なります。実際に使う前に現地で試し、必要に応じてしきい値やモードを調整してください。

トラブルシューティング¶

その他の問題はトラブルシューティングを参照してください。

次のステップ¶

• センサー認識：同じ Reef で機械や環境の状態を判別します。
• Edge AI ファームウェアの書き込み：モードの切り替えと USB デバイスの一覧。