NVIDIA、LLMのトレーニングに使用できるオープンモデルファミリー「Nemotron-4 340B」を発表：LLMをトレーニングするための合成データを生成

　Nemotron-4 340Bファミリーに含まれるBase（基本）モデル、Instruct（指示）モデル、Reward（報酬）モデルは、LLMのトレーニングと改良に使われる合成データを生成するパイプラインを形成する。これらのモデルは、オープンソースの「NVIDIA NeMo」フレームワークによるファインチューニングと、オープンソースの「NVIDIA TensorRT-LLM」ライブラリを用いた推論に最適化されている。

　NVIDIA NeMoは、データのキュレーション、カスタマイズ、評価など、エンドツーエンドのモデルトレーニングのためのフレームワーク。NVIDIA TensorRT-LLMは、テンソル並列性を利用した大規模かつ効率的な推論を可能にするという。

　Nemotron-4 340BはHugging Faceからダウンロードでき、間もなく「ai.nvidia.com」でアクセスできるようになる。ai.nvidia.comではNemotron-4 340Bは、どこにでもデプロイ（展開）できる「NVIDIA NIM」マイクロサービスとしてパッケージ化され、標準APIとともに提供される。

Nemotron-4 340Bによる合成データの生成

　LLMは、大規模で多様なラベル付きデータセットへのアクセスが制限されているシナリオにおいて、開発者が合成トレーニングデータを生成するのに役立つ。

　Nemotron-4 340B Instructモデルは、実世界のデータの特徴を模倣した多様な合成データを生成することで、さまざまな分野にわたるカスタムLLMの性能と堅牢性の向上に向けて、データの質の改善を支援する。

　さらに、開発者はAIが生成したデータの質を高めるために、Nemotron-4 340B Rewardモデルを使って応答をフィルタリングできる。Rewardモデルは、「有用性」「正確性」「一貫性」「複雑性」「冗長性」の5つの属性で応答を評価する。このモデルは、報酬モデルを評価するHugging Face RewardBenchリーダーボードで、高い順位を獲得しているという。

Nemotron-4 340Bの合成データ生成パイプライン（提供：NVIDIA）

　NVIDIAは、上の図の合成データ生成パイプラインについて、次のように説明している。

　なお、独自のデータをNemotron-4 340Bに含まれるHelpSteer2データセットと組み合わせて使用することで、Nemotron-4 340B Baseモデルをカスタマイズし、独自の指示モデルや報酬モデルを作成することもできる。