センサー認識¶

Reef は、モーターがアンバランスかどうか、人が歩いているのか転倒したのかといった、機械や環境の状態をセンサー信号から判別できるようになります。各状態を記録してコンピューターで学習し、ボードにデプロイすると、以後はボードの NPU が 1 秒に 4 回判定します。すべて IPRO AI Studio の Sensor ページで行います。ファームウェアには 5 種類の模擬センサーがあるので、独自のセンサーを配線する前でも、Reef 1 台と USB-C ケーブル 1 本で全体の流れを試せます。

前提条件¶

• Edge AI ファームウェアを書き込んだ IPRO7AI Reef EVK。Edge AI ファームウェアの書き込みを参照してください。センサーモデルは Studio がデプロイするので、ほかに書き込むものはありません。
• Reef の USB-C とコンピューターを接続する USB-C データケーブル。
• インストール済みの IPRO AI Studio。IPRO AI Studio のインストールを参照してください。
• 模擬センサーやボードのマイクを使う場合、ほかのハードウェアは不要です。独自のセンサーを使うには、先にファームウェアにデータソースを追加する必要があります。独自センサーの追加を参照してください。

仕組み¶

• データソース（模擬センサー、マイク、または独自センサー）のサンプルは、ボード上の 1 MB のリングバッファーに入り、そのまま USB-C で Studio にストリーミングされます。
• Studio は信号の各区間（「ウィンドウ」）を 64×64×8 の特徴マップに変換し、小さな CNN 全体をコンピューター上で学習して、NPU モデルにコンパイルします。
• デプロイ時、モデルは前処理パラメーター、クラス名、データソースとともにセンサーモデルスロットに格納され、ボードは自動的に再起動します。
• ボードは Studio とまったく同じ前処理を行って NPU を実行し、1 秒に 4 回結果を Studio に送り、現在のクラスを RGB LED の色で示します。

ボードの接続¶

Sensor ページ¶

データソースの選択¶

Signal エリア右上の Source でデータソースを選びます。ソースを変更すると、Studio が推奨のウィンドウ長と表示方法を設定します。

模擬センサーは記録のたびに速度、レベル、ノイズを新たに決め、さらにレベルが 10 秒ごとにゆっくりドリフトします。そのため、同じ状態の 2 回の記録は、同じ機械の 2 回の運転と同じように異なります。

模擬センサーでは、波形の下に 2 段のコントロールがあります：

• 状態ボタン：例：Simulated vib: off normal imbalance misalign bearing looseness。クリックすると模擬状態が切り替わります。Reef のキー SW4 でも状態を順に切り替えられます。
• パラメーター：設定して Apply を押します。

記録¶

記録のヒント：

• 模擬センサーでは、1 クラスあたり 10～30 秒で十分です。
• 1 回の記録はウィンドウ長の 2 倍以上押し続けてください。 各記録の最後の 4 分の 1 は採点用に取り分けられるため、記録が短すぎるクラスは採点できません。1 ウィンドウより短いと too short: hold for at least one window と表示されます。
• データストリームが途切れた場合、ページに the stream skipped: kept as <N> takes と表示され、記録は N 個に分けて保持されます。
• 温度などの変化の遅い信号は、少なくとも 15 ウィンドウ分と長めに記録します。

CSV のインポート：別の場所で記録したデータを、Import CSV… で選択中のクラスに追加できます。

• 1 チャネル 1 列、1 サンプル 1 行のカンマ区切りです。ヘッダー行はスキップされます。
• サンプリングレートはボードの現在のデータソースと、列数はそのチャネル数と一致する必要があります。一致しない場合、ページに <N> columns のエラーが表示されます。
• ボルトや g ではなく、ボードがストリーミングする生のカウント値を使ってください。スペクトルの下限は 1 カウントなので、単位に変換したデータはリアルタイムの信号とは違って見えます。

学習¶

<k> of <n> classes have no held-out data と表示された場合、一部のクラスの 1 回あたりの記録が短すぎます。ウィンドウ長の 2 倍以上の長さで記録し直してください。学習時間はクラス数、記録の長さ、モデルサイズ、UNKNOWN の有無によって変わります。INTELPRO の測定では、約 4 秒（15 秒ずつ 2 クラス）から約 90 秒（15 秒ずつ 3 クラス、Medium、UNKNOWN 有効）でした。

UNKNOWN と答えるように教える：Say UNKNOWN for what it was not taught にチェックを入れると、Studio は記録から多くのバリエーションを作って追加の UNKNOWN クラスとして学習し、クラスごとにスコアの下限を設定します。誰も記録していない状態に対して、ボードは既知のクラスに無理に当てはめず、UNKNOWN と答えます。UNKNOWN を有効にすると、教えられるクラスは最大 7 つです（8 つ目は UNKNOWN が使います）。

正常状態だけを記録する：異常検知：記録のあるクラスがちょうど 1 つ（通常は「normal」）のとき、Anomaly detection: learn the one class as normal にチェックを入れられます。Studio は正常データに人工的な異常（新しいトーン、打撃音、ノイズバースト、レベルの急変やドリフト、張り付いた値、大きな速度変化、出力の止まったチャネル、クリッピング、ピークや高調波の増大、チャネルのゲイン変化、ゆっくりしたうなり）を加え、モデルは「正常」と「それ以外のすべて」を区別することを学習します。こうして、記録したことのない故障が ANOMALY として検出されます。Studio は、変化を加えた正常データの約 1% が異常と判定されるように判定しきい値を設定します。記録できる故障については、通常は異常検知よりも分類（故障ごとに 1 クラス）のほうが信頼性が高くなります。

デプロイ¶

デプロイは通常数秒で終わります。モデルが大きいほど、送信と書き込みに時間がかかります。センサーモデルのスロットは 1 つだけです。書き込みが中断されるとモデルのない状態になるので、もう一度デプロイしてください。

リアルタイムの結果¶

デプロイ後、On the board エリアは 1 秒に 4 回更新されます：

• 大きな文字：現在の判定。クラス名、UNKNOWN（教えていない状態）、または ANOMALY（異常検知モードでの異常）のいずれかです。
• バー：各クラスの確率。
• Reef の RGB LED も現在のクラスを色で示すので、コンピューターがなくても結果を読み取れます。

模擬センサーでは、教えていない状態に切り替えて、UNKNOWN が機能することを確認できます。ramp を数十秒に設定すると、故障が進行するにつれて判定が変わるタイミングを観察できます。状態が切り替わる瞬間は 1 つのウィンドウに両方の状態が含まれることがあるため、ときどき UNKNOWN が出るのは正常です。連続するいくつかの結果から判断してください。

sensor モードのコンソールコマンド：

動作確認¶

1. デプロイ後、On the board が 1 秒に 4 回更新され、大きな文字が模擬状態ボタンや機械の実際の状態に追従します。
2. 教えたすべての状態について、大きな文字にそのクラス名が表示され、その確率が最も高くなります。
3. UNKNOWN を有効にした場合、教えていない状態に切り替えると UNKNOWN と表示されます。
4. RGB LED の色がクラスに応じて変わります。再起動後もモデルが残っています（起動ログに SENM: model … と表示されます）。

保存と再学習¶

• Save…：すべての記録をフォルダーに書き出します。クラスごとに 1 つの .npz ファイルと、サンプリングレートとクラスの順序を記録した sensor_teach.json です。
• Open…：Save… で保存したフォルダーを開き、記録の追加や再学習を行います。

• 同じフォルダーをコマンドラインから、ウィンドウを使わずに学習してモデルパッケージにし、デプロイすることもできます（--source は記録したときのソースにする必要があります）：

  ipro-ai train sensor rec/ --source sim_vib --out vib.ipkg
  ipro-ai deploy vib.ipkg --switch
  

  デフォルトは Sensor ページと同じです（Medium、Strong、最大 60 エポック、改善がないまま 8 エポックで停止）。--size、--window、--mode spectrogram|wave、--unknown、--anomaly などのオプションは、ページの設定に対応します。

独自センサーの追加¶

出荷時の Edge AI ファームウェアのデータソースは、5 種類の模擬センサーとボードのマイクだけで、外部センサーのドライバーはありません。独自のセンサーを使う方法は 2 つあります：

方法 1：ファームウェアにデータソースを追加する（推奨）

ファームウェアエンジニアが、SDK の apps/ai/ipro_reef_teach/sensor/sensor_src.c にあるソーステーブルにエントリを追加します。I2C や SPI のデバイスは ipro_ai_source_sampled_register() で登録し（プラットフォームがタイマーで読み取り関数を呼び出します）、ストリームは ipro_ai_source_ring_register() で登録します（割り込みからデータをプッシュできます）。どちらも components/ai/source/include/ipro_ai_source.h で宣言されています。ルールは次のとおりです：

• サンプルは int16、チャネルはインターリーブ、全チャネルで同じサンプリングレートです。
• 最大 8 チャネル。1 ウィンドウが 1 MB のリングバッファーに収まれば、サンプリングレートは任意です。プラットフォームのタイマーで呼び出されるポーリング型のソースは、最大 1 kHz（システムティック）です。
• ソースは名前、サンプリングレート、チャネル数、単位を報告します。

Reef の 40 ピンヘッダー J_IO の 3 番ピンと 5 番ピンは I2C（SDA GPIO19、SCL GPIO18、ボード上に 4.7 kΩ のプルアップ）で、3.3 V です。40 ピンヘッダー J_IO を参照してください。Edge AI ファームウェアの書き込みのとおりにビルドして書き込みます。ファームウェアのみを更新するので --mfg は省きます。

Studio の変更は不要です。Studio はボードからソースの名前、サンプリングレート、チャネル数を読み取り、新しいソースが Source メニューに表示されます。モデルは学習に使ったデータソースを記録しており、ボードはそのソースでのみモデルを実行します。

方法 2：CSV をインポートする

同じセンサー、サンプリングレート、チャネル数で別の場所で記録したデータは、Import CSV… でクラスに追加できます。デプロイしたモデルを実行するには、やはりボード上に対応するデータソースが必要です。そのため、この方法は学習データを追加するだけで、方法 1 の代わりにはなりません。

仕様¶

ヒント¶

• 模擬センサーは流れを学ぶためのものです。 実際のセンサーでは、新しいデータを集め、学習し直して、現地で検証してください。
• 異常検知は記録した「正常」しか知りません。 機械のすべての正常な負荷と速度で正常データを記録してください。そうしないと、重めの正常な負荷が異常と判定されたり、実際の過負荷が正常として見逃されたりすることがあります。
• 周波数に明確な特徴がある故障（軸受の故障、緩み、欠相）は最も検出しやすく、振幅が大きくなるだけの故障（過負荷、相の不平衡）は異常検知では検出しにくくなります。こうした故障には分類を使ってください。
• 変化の遅い信号（温度、気圧）には波形表示を使い、1 回の記録を 15 ウィンドウ以上にします。異常検知には正常データを十分に記録してください。
• スペクトル表示には 1 ウィンドウあたり 128 サンプル以上が必要です。サンプリングレートが非常に低い場合は、波形表示か長いウィンドウを使ってください。
• 周波数の差がサンプリングレート / 128 未満の故障は、時間とともにゆっくりしたうなりとしてしか現れません。2 秒以上のウィンドウが必要で、それでも最も難しいケースです。
• モデルは学習に使ったデータソース（名前、サンプリングレート、チャネル数）でのみ動作します。ソースやそのパラメーターを変更したら、学習とデプロイをやり直してください。

トラブルシューティング¶

その他の問題はトラブルシューティングを参照してください。

次のステップ¶

• Edge AI ファームウェアの書き込み：データソースを追加した後、ファームウェアのみを更新します。
• IPRO7AI Edge AI Programming Guide：データソース、前処理、アプリケーションフレームワークのインターフェース全体を記載しています。INTELPRO から入手できます。ドキュメントを参照してください。