デロイト トーマツが「ファインチューニング付きLLM」の開発サービスを提供開始：オンプレミスでも利用可能
デロイト トーマツは、「特化型LLM」の開発サービスを提供開始した。クラウド提供型LLMが利用できない業種、業界に向けてオンプレミス運用可能な特化型LLMを提供することで、企業のLLMの活用を促進するという。
デロイト トーマツ コンサルティングは2024年4月4日、「特化型LLM」の開発サービスの提供を開始した。大規模言語モデル（LLM）に、個別企業や特定ドメイン（事業活動領域）特有の語彙（ごい）や文脈、ニュアンスを学習させる「ファインチューニング」を実施する他、生成AI導入の構想策定からガバナンス体制の構築に至るまで「企業の生成AI（人工知能）の利活用を総合的に支援する」という。
「フルファインチューニング」と「PEFT」を利用
現在広く使われている汎用（はんよう）LLMは、インターネット上の公開文書などを使って一般的な言語パターンを学習させているため、企業での適用が限定的になりがちだ。こうした背景もあり、「専門用語への理解が不可欠な金融や医療などの業界では導入が進んでいない」とデロイト トーマツ コンサルティングは指摘。また、多くの汎用LLMはクラウドサービスとして提供されているため、「プライバシーやデータセキュリティの観点から、クラウド提供型の汎用LLMの利用が困難な業種や業界もある」としている。
デロイト トーマツ コンサルティングが提供する特化型LLMは、複数ベンダーのLLMを検証しながらクライアントニーズに沿ったLLMを開発でき、オンプレミスでの運用も可能だ。「RAG」（Retrieval Augmented Generation）を実装することで「データベース検索や回答生成の精度も向上している」と同社は述べている。
特化型LLMのベースとなるLLMは、クローズドモデルとオープンモデルも含め、パラメーター数やバージョンによる違いを比較、検証することでノウハウを蓄積した。ファインチューニングについても、LLM自体のウェイトを書き換える「フルファインチューニング」と、メモリの消費量を抑えながら効率的に学習させる「PEFT」（Parameter-Efficient Fine Tuning）を比較することで最適な手法を見いだした、としている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
「ChatGPTプラグイン」の脆弱性についてセキュリティ研究者が開発者に警告
TechTargetは、「ChatGPTプラグインの脆弱性」に関する記事を公開した。ChatGPTプラグインの脆弱性が発見され、OpenAIと2つのサードパーティーベンダーは修正対応した。だが、セキュリティベンダーの研究者は「ChatGPTプラグインには依然としてセキュリティリスクが存在する」と警告している。
「国産LLM」の構築を研究面から支援 NIIが大規模言語モデル研究開発センターを開設
NIIは、「大規模言語モデル研究開発センター」を開設した。まずは、NIIが主宰しているLLM勉強会の研究開発を発展させ、1750億パラメーターのLLMを構築するという。
オンデバイスでLLMを実行できる「MediaPipe LLM Inference API」、Googleがリリース
Googleは「MediaPipe」を通じてオンデバイスでLLMを実行できるLLMを実行できる「MediaPipe LLM Inference API」の実験的リリースを発表した。MediaPipe LLM Inference APIでは、LLMを使ったアプリケーションをスマートフォンなどのデバイス上で使用することができる。