Microsoft Research、LLMに与えるプロンプトを圧縮する「LLMLingua」を開発：コスト削減とパフォーマンス向上を実現

　Microsoft Researchはこれらの問題に対処するため、プロンプトを圧縮するLLMのための言語を構築する一連の取り組みに乗り出し、LLMLinguaとLongLLMLinguaを開発した。

LLMLinguaとLongLLMLinguaの特徴

　LLMLinguaは以下のような特徴を持つ。

• パフォーマンス低下をほとんど伴わずに、プロンプトを最大20分の1に圧縮する
• プロンプトとLLMの出力の長さを同時に短縮し、API呼び出し時のコストを節約できる
• LLMLinguaで圧縮されたプロンプトは、「ChatGPT」「GPT-4」「Claude」などのブラックボックスなLLMで直接使える
• プロンプトを圧縮することで、より多くの情報を元のトークン長に含めることを可能にし、それによってモデルの性能を向上させる
• LLMLinguaで生成、圧縮されたプロンプトは、LLMによって理解され、下流のタスクで元の能力を維持し、ICLや推論など、元のプロンプトの知識を保持できる。また、LLMは圧縮されたプロンプトから、重要情報を復元できる
• これらの手法を利用するに当たって、LLMの再学習は不要である
• KV（Key-Value）キャッシュの圧縮にも利用でき、推論を高速化する

　一方、LongLLMLinguaは、長いコンテキストのシナリオでLLMが直面する3つの主要な課題（高い計算／金銭的コスト、レイテンシの増加、パフォーマンス低下）への対処を目的としている。「LLMのパフォーマンスは、入力プロンプトにおける重要情報（質問に関連する情報）の密度と位置の両方に依存する」という先行研究の知見に触発され、LLMが重要情報を認識する能力を向上させるプロンプト圧縮手法として開発されている。

　LongLLMLinguaは幾つかのベンチマークで以下を達成した。

• プロンプトを4分の1に圧縮し、パフォーマンスを17.1％向上させた
• 1000サンプル当たり27.4〜28.5ドルのコスト削減を可能にした
• 1万トークンまでのプロンプトを2分の1〜10分の1に圧縮すると、エンドツーエンドのレイテンシが1.4分の1〜3.8分の1に短縮された

　LLMLinguaとLongLLMLinguaは、CoT、長いコンテキスト、RAGなど、幅広いシナリオに適用できる。

　Microsoft Researchは、LLMLinguaとLongLLMLinguaのプロジェクトページとGitHubリポジトリ（examplesフォルダ）で、RAG、オンラインミーティング、CoT、コード補完などに両者を適用した例を紹介している。

　LLMLinguaとLongLLMLinguaのコードは、GitHubリポジトリで公開されている。