LiteRT Next による NPU アクセラレーション

LiteRT Next は、ベンダー固有のコンパイラ、ランタイム、ライブラリの依存関係を個別にナビゲートすることなく、ニューラル プロセッシング ユニット（NPU）を使用するための統合インターフェースを提供します。NPU アクセラレーションに LiteRT Next を使用すると、ベンダー固有またはデバイス固有の複雑さを回避し、リアルタイム推論と大規模モデル推論のパフォーマンスを向上させ、ゼロコピー ハードウェア バッファの使用を通じてメモリコピーを最小限に抑えることができます。

LiteRT NPU 早期アクセス プログラムにすでに登録している場合は、承認済みのアカウントにログインして NPU のドキュメントを表示します。登録していない場合は、早期アクセス プログラムに登録します。

登録arrow_forward

使ってみる

まず、NPU の概要ガイドをご覧ください。

• 従来の ML モデルの場合は、コア フレームワークに直接進みます。
  • LiteRT Next による NPU アクセラレーション
• 大規模言語モデル（LLM）の場合、NPU 実行に必要なエンドツーエンド処理を処理するには、LiteRT-LM フレームワークを使用することをおすすめします。
  • LiteRT-LM による NPU アクセラレーション

NPU サポート付きの LiteRT Next の実装例については、次のデモアプリを参照してください。

• Kotlin を使用した画像セグメンテーション
• C++ を使用した非同期セグメンテーション

NPU ベンダー

LiteRT Next は、次のベンダーの NPU アクセラレーションをサポートしています。

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot