このページは Cloud Translation API によって翻訳されました。

組み込みの AI

Kenji Baheux

Alexandra Klepper

公開日: 2024 年 5 月 14 日、最終更新日: 2024 年 5 月 20 日

ブラウザに組み込まれた AI モデル、エキスパートモデル、大規模言語モデル（LLM）と連携するように設計されたウェブプラットフォーム API とブラウザ機能を開発しています。組み込みの AI を使用すると、ウェブサイトやウェブアプリケーションで AI モデルのデプロイ、管理、セルフホスティングを行うことなく、AI を活用したタスクを実行できます。

組み込み AI のメリット、実装計画、これらのツールの実装を開始する方法について説明します。

ウェブ上の AI を初めて使用する場合は、ウェブ AI の用語集とコンセプトをご覧ください。

ウェブデベロッパーにとっての組み込み AI のメリット

ブラウザには AI が組み込まれており、基盤モデルとエキスパートモデルの提供と管理を行います。

AI が組み込まれているため、ウェブサイトはブラウザ API を介してローカルプロセッサ（CPU、GPU、NPU）に接続します。その後、ローカルモデルと通信し、レスポンスを送信します。API がレスポンスを返します。

組み込み AI には次の利点があります。

導入の容易さ: ブラウザは、デバイスの機能に応じてモデルを配布し、更新を管理します。つまり、ネットワーク経由で大規模なモデルをダウンロードしたり更新したりする必要はありません。ストレージの削除、ランタイムメモリバジェット、サービング費用などの課題を解決する必要はありません。
ハードウェアアクセラレーションへのアクセス: ブラウザの AI ランタイムは、GPU、NPU、CPU へのフォールバックなど、利用可能なハードウェアを最大限に活用できるように最適化されています。これにより、アプリは各デバイスで最高のパフォーマンスを発揮できます。

クライアントサイドで実行するメリット

AI が組み込まれているため、AI をクライアントサイドで実行できます。これにより、次のメリットが得られます。

機密データのローカル処理: クライアントサイド AI はプライバシー保護を強化します。たとえば、機密データを扱う場合は、エンドツーエンドの暗号化を使用して AI 機能をユーザーに提供できます。
迅速なユーザーエクスペリエンス: サーバーへのラウンドトリップを回避することで、ほぼ瞬時に結果を提供できる場合があります。クライアントサイド AI は、実現可能な機能と最適とはいえないユーザーエクスペリエンスの差を生み出す可能性があります。
AI へのアクセス拡大: ユーザーのデバイスが処理負荷の一部を担う代わりに、機能へのアクセスが拡大します。たとえば、プレミアム AI 機能を提供している場合、クライアントサイド AI でこれらの機能をプレビューして、見込み顧客が製品のメリットを確認できるようにします。これにより、追加費用をかけずに、見込み顧客に製品のメリットをアピールできます。このハイブリッドアプローチは、特に頻繁に使用されるユーザーフローで推論費用を管理するうえでも役立ちます。
オフラインでの AI の使用: ユーザーは、インターネットに接続していない場合でも AI 機能を利用できます。つまり、サイトやウェブアプリはオフラインでも接続が不安定な状態でも想定どおりに動作します。

ハイブリッド AI: クライアントサイドとサーバーサイド

クライアントサイド AI は幅広いユースケースに対応できますが、一部のユースケースではサーバーサイドのサポートが必要です。サーバーサイド AI は大規模なモデルに適しており、幅広いプラットフォームとデバイスをサポートできます。

アプリケーションで次の要件が求められる場合は、ハイブリッドアプローチを検討してください。

複雑さ: 具体的なユースケースほど、オンデバイス AI でサポートしやすくなります。複雑なユースケースの場合は、サーバーサイドの実装を検討してください。
復元力: デフォルトではサーバーサイドを使用し、デバイスがオフラインの場合や接続が不安定な場合はオンデバイスを使用します。
グレースフルフォールバック: AI が組み込まれたブラウザの導入には時間がかかり、一部のモデルは利用できない可能性があります。また、古いデバイスや非力なデバイスでは、すべてのモデルを最適に実行するためのハードウェア要件を満たしていない可能性があります。これらのユーザーにサーバーサイド AI を提供します。

たとえば、組み込みの Prompt API を使用する場合、この API は Chrome 拡張機能、Windows、macOS、Linux でのみ使用できます。すべてのユーザーが AI 機能を活用できるようにするには、Firebase AI Logic を使用してハイブリッドアーキテクチャを設定します。