Microsoft、小規模言語モデル「Phi-3」公開　大規模言語モデルと異なる利用シーンを想定：「小」規模言語モデルの持つ可能性

　加えて、近日中に「Phi-3-small」（70億パラメーター）と「Phi-3-medium」（140億パラメーター）などのPhi-3ファミリーのモデルが追加される。この2つのモデルはAzure AIモデルカタログとその他のモデルガーデン（機械学習モデルのリポジトリやコレクション）での公開が予定されている。

Phi-3のパフォーマンス

　Microsoftによると、Phi-3は主要ベンチマークにおいて、同サイズおよびそれ以上のサイズの言語モデルよりも優れたパフォーマンスを示しているという（下図参照）。また、Phi-3-miniは、その2倍のサイズを持つモデルよりも優れており、Phi-3-smallおよびPhi-3-mediumは、GPT-3.5Tなどのはるかにサイズが大きいモデルを上回るとしている。

サイズが小さいほど事実を保持する容量が小さくなるため、Phi-3は事実知識ベンチマーク（TriviaQAなど）ではあまり良い結果を示さない（提供：Microsoft）

Phi-3の品質を表す図。Massive Multitask Language Understanding（MMLU）ベンチマークでパフォーマンスを計測し、同様のサイズの他社モデルと比較している（出典：Microsoft）

モデル設計とトレーニングデータ

　Phi-3は、MicrosoftのAI開発標準「Microsoft Responsible AI Standard」に基づいて開発された。これは、アカウンタビリティ、透明性、公平性、信頼性と安全性、プライバシーとセキュリティ、包括性の6つの原則に基づいている。Phi-3は、安全性の測定と評価、レッドチーム活動、機密利用のレビューを含む厳格なプロセスを経て開発され、Microsoftの基準とベストプラクティスに沿って開発、テスト、展開されている。

　また、Phi-3はトレーニングに高品質のデータを使用している。人間のフィードバックからの強化学習（RLHF）、数十の被害カテゴリーにわたる自動テストと評価、手動のレッドチーム活動など、包括的な安全性のポストトレーニングが施されている。

小規模言語モデルが活用できるケース

　Microsoftは「生成AIツール『Microsoft Copilot』を公開し、顧客がAzure AIを使用して生成AIでビジネスを変革できるようにした経験から、異なるタスクに対して品質とコストのバランスを考慮したさまざまなサイズのモデルの需要が増していることを把握した」と述べている。

　Phi-3のような小規模言語モデルを採用するのに最適なケースとして、Microsoftは以下を挙げている。

• リソースが制約されている環境、特にデバイス内およびオフライン推論のシナリオ
• レイテンシに制約があり、高速な応答時間が重要なシナリオ
• コストに制約のあるユースケース、特に単純なタスクの場合

　Phi-3は小型であるため、演算量に制限のある推論環境でも使用できる。特にPhi-3-miniは、ONNXランタイムで最適化されることで、デバイス上で使用できるようになる。また、Phi-3モデルのサイズが小さいため、より容易かつ手頃な価格でファインチューニングやカスタマイズができる。

　Microsoftのソナリ・ヤダヴ氏（生成AI担当主任プロダクトマネージャー）は、「今後見られるようになるのは、大規模から小規模へのシフトではなく、モデルの単一カテゴリーからモデルのポートフォリオへのシフトだ。顧客は自分のシナリオに最適なモデルを決定できるようになるだろう」と述べている。