オンデバイスでLLMを実行できる「MediaPipe LLM Inference API」、Googleがリリース：数ステップでLLMをデバイスに導入可能

　MediaPipe LLM Inference APIは、Android上では、実験、研究目的でのみ利用可としている。LLMを使用するプロダクションアプリケーションは、「Android AICore」を通じて、デバイス上で「Gemini API」または「Gemini Nano」を使用できる。

MediaPipe LLM Inference APIの導入

　MediaPipe LLM Inference APIはWebデモまたはサンプルデモアプリで試すことができる。Web、Android、またはiOS SDKを通じて、それぞれのプロジェクトに統合できる。

　MediaPipe LLM Inference APIを使用すると、数ステップでLLMをデバイスに導入できる。SDKとネイティブAPIはプラットフォームによって異なるが、これらのステップはWeb、iOS、Androidで適用できる。

　以下は、MediaPipe LLM Inference APIを介してGemma 2Bをリアルタイムで実行している様子だ。

ブラウザ上でMediaPipe LLM Inference APIを介して実行されるGemma 2B（提供：Google）

MediaPipe LLM Inference API経由でiOS（左）とAndroid（右）のデバイス上で動作するGemma 2B（提供：Google）

MediaPipe LLM Inference APIが動作するモデル

　2024年3月の初期リリースでは、以下の4つのモデルアーキテクチャをサポートしている。これらと互換性のあるモデルは、MediaPipe LLM Inference APIで動作する。ベースモデルの重みを使用したり、独自のデータを使用して重みを微調整したりできる。

モデルのパフォーマンス

　LLMのレイテンシを測定する場合、考慮すべき用語と測定値が幾つかある。Googleによると、最初のトークンの取得時間（Time to First Token）とデコード速度は、応答を開始するまでの時間と、応答が開始されてから応答が生成されるまでの時間を測定するために重要なものだという。

　プレフィル速度とデコード速度は、モデル、ハードウェアおよび最大トークンに依存する。また、デバイスの負荷によっても変化する。

　以下のスピードは、ハイエンドデバイスで、最大トークン数1280、入力プロンプト1024、int8ウェイト量子化を使用して計測されたものだ。KaggleにあるGemma 2B（int4）は例外で、4/8ビット混合のウェイト量子化を使用している。

（提供：Google）

（提供：Google）

　GPU上では、Falcon 1BとPhi 2はfp32アクティベーションを使用し、GemmaとStableLM 3Bはfp16アクティベーションを使用している。Gemma 2B（int4）は、メモリ制約のためiOS上で実行できる唯一のモデルだ。GoogleはiOS上で他のモデルも実行できるよう取り組んでいるという。

今後のアップデート

　2024年にかけて、より多くのプラットフォームとモデルに拡張し、より広範な変換ツール、無料のオンデバイスコンポーネント、高レベルのタスクなどに対応する予定だという。