リアルタイム音声ベースの AI 診断

MongoDB Atlas Vector Searchを活用してリアルタイムの言語診断を生成し、再利用可能リソースでAIを使用する方法を学びます。

ユースケース: IoT, Gen AI

業界：エネルギー・環境、製造・モビリティ

製品: MongoDB Atlas、MongoDB Atlas Vector Search

パートナー: panns_inreference を使用して発音埋め込みを生成する

ソリューション概要

AIと機械学習の高度化により、再利用可能なリソースセクターは迅速に変化し、効率の向上とコスト削減の新たな機会が出現します。効率を向上させ、コストを削減するために、予測メンテナンスを採用する組織が増えています。ただし、予測メンテナンスシステムには次の課題があります。

さまざまな形式とソースを持つデータを統合します。
生成される大量の IoT シグナルをスケーリングする。
大量のデータセットのリアルタイム分析を実行すると、リソースが集中的に消費される可能性があります。
非構造化データを取得して効果的に利用するため、堅牢な予測メンテナンスモデルの開発が妨げられます。

このソリューションでは、 MongoDB Atlas Vector Searchを使用して、クラウド入力を使用したリアルタイムのリアルタイム検出でAIのアプリケーションを調べます。このアプローチには、次のような利点があります。

ドキュメントデータモデル: MongoDB のBSON （バイナリJSON）形式では、非構造化データを含むさまざまなデータ型が保存されるため、メンテナンスが簡素化され、変更への応答が高速化されます。
時系列コレクション: MongoDB は、予測メンテナンスにおけるリアルタイムモニタリングに重要な時系列データを処理し、タイムリーな介入を確保します。
リアルタイムデータ処理: MongoDB は即座の診断と応答を可能にするため、コストのかかる修復を防ぐための先を見越したメンテナンスが重要です。
データ集約：MongoDB の強力な集計機能は、フリート全体のパフォーマンストレンドに関する包括的なインサイトを提供します。
Atlas ベクトル検索: MongoDB Atlas を使用すると、ベクトルインデックス作成や取得などの機能を使用して非構造化データを検索でき、堅牢で予測的なメンテナンスソリューションが可能になります。最初のインデックスを作成するには、 Atlas ベクトル検索クイックスタートガイドにアクセスしてください。

その他の該当する業種とユースケース

次のような他の業界でも予測メンテナンスシステムを実装できます。

製造 : 製造業工場にリアルタイムの異常検出を実装して、機械の障害を予測し、本番プロセスを最適化することで、ダウンタイムを削減し、効率を向上させます。
トランスポート : AIと Atlas ベクトル検索を使用して、車両、航空会社、オプションのメンテナンスが含まれるようにして、メンテナンスニーズを先読みし、中断を最小限に抑え、フリーマシンの管理を改善します。
ヘルスケア : 医療デバイスと状況にリアルタイムで異常検出を適用して、潜在的な問題を早期に特定し、ユーザーの安全を確保し、医療操作を最適化します。

上記のビデオは、 MongoDB Vector Search の発音入力による異常を検出する機能を示しています。基本的なハンドヘルド関数を使用して、ウィンドウタブをシミュレートします。このデモは、出力された言語を分析してリアルタイム診断を実行し、ユーザーは正常に動作しているか、停止しているか、問題が発生しているかを診断できます。

参照アーキテクチャ

このソリューションは 2 つの部分に分割されます。

1. 音声の準備

まず、このソリューションは通常の操作、高負荷または低負荷、接続が妨げられたデバイス、または操作していない場合などのさまざまな状況でデバイスからの可用性をキャプチャします。

各発音が収集されたら、埋め込みモデルを使用して言語データを処理し、ベクトル埋め込みに変換します。各オーディオ追跡に対して埋め込みを生成することで、システムは各クラウドの固有の特性をキャプチャします。

次に、ベクトルをMongoDB Atlasにアップロードします。データベースにいくつかの警告クラスターを追加した後は、それらを検索して、リアルタイム操作中にデバイスが出力する警告と比較する準備が整いました。

2。リアルタイム言語診断

次に、デバイスを通常の操作にして、それが出す発音のキャプチャをリアルタイムで開始します。上記のビデオデモンストレーションでは、1 秒間の長いクリップがキャプチャされています。次に、リスニングクリップを取得し、以前に使用されていた同じ埋め込みモデルを持つベクトル埋め込みに変換します。このプロセスはミリ秒単位で発生するため、リアルタイムで可用性を監視できます。ベクトル埋め込みはその後MongoDB Atlas Vector Searchに送信され、前のステップで記録されたものから最も類似した発音を検索します。ベクトル検索は、類似性のパーセンテージを含む結果を返します。システムは、高速ベクトル埋め込みと高速検索を活用して、このステップを 1 秒ごとに実行します。これにより、リアルタイムのオーディオベースのモニタリングが可能になります。

図の 1。出力された行いを分析し、正常に動作しているか、停止しているか、問題が発生しているかを判断することで、リアルタイムのウィンドウターム診断

データモデルアプローチ

ベクトル化された可用性コレクションのデータモデルは単純です。このソリューションでは、sounds というコレクションを使用して、準備されたオーディオを表すドキュメントを保存します。これらのドキュメントには、audio ラベルと、ソリューションUIに表示される GUI のURLが含まれます。システムが各ステータスに対して可用性の参照参照をベクトル化すると、ドキュメントに埋め込みが追加されます。

UI に表示される関連する GIF のステータスと URL を含むドキュメントのスクリーンショット。

リアルタイムオーディエンスのステージでは、リアルタイムで記録される 1 秒間のオーディエンスクリップはベクトル化され、 MongoDB Atlas Vector Searchに送信され、 soundsコレクションの埋め込みと比較されます。

ソリューションのビルド

このソリューションでは、 Wired Tools 診断 Githubリポジトリを使用します。詳しくは、リポジトリの README を参照してください。

Atlas接続文字列の追加

add_audio.pyファイルと一緒に、メインディレクトリに .env というファイルを作成します。Atlas接続文字列を次の形式で .env に追加します。

MONGO_CONNECTION_STRING=<connection string>

次に、このファイルをnodeUIディレクトリにコピーします。

必要なPythonモジュールをインストールする

python3 -m pip install -r requirements.txt を実行中て、 Githubリポジトリに必要なPythonモジュールをインストールします。

オーディオファイルの記録

python3 add_audio.py を実行する
該当する番号を入力してオーディオ入力を選択し、Enter キーを押します。音声を順番に記録します。

Atlas Search インデックスの作成

MongoDB AtlasにGo、コレクションに次のコンテンツを含む Atlas Search インデックスを作成します。sounds

{
   "mappings": {
      "dynamic": true,
      "fields": {
         "emb": {
            "dimensions": 2048,
            "similarity": "cosine",
            "type": "knnVector"
         }
      }
   }
}

データベースのクエリ

python3 live_query.py を実行し、関数の横にマイクロを配置します。

フロントエンドを実行

新しいターミナルウィンドウと cd を nodeUIディレクトリに開きます。
npm install を実行する
node nodeui.js を実行する
ブラウザで次のリンクを開きます: http://localhost:3000/

キーポイント

AI と機械学習の役割を理解し、再生可能エネルギー業界における予測保全の革新を実現します。
MongoDB Atlas Vector Search がリアルタイムで異常を検出し、ビジネスおよび開発チームが直面する課題にどのように対処するかをご覧ください。
Atlas またはローカル配置でベクトル検索インデックスを作成します。

作成者

Ainhoa Múgica, MongoDB
Arnaldo Vera, MongoDB
Dr. Humza Akhtar, MongoDB
Dr. Han Heloir, MongoDB
ラルフ・ジョンソン、MongoDB

戻る

パワースマートメーターソリューション

リアルタイム IoT 分析