New Relic、GPT APIの使用量、コスト、パフォーマンスを監視できる「OpenAI Observability」を提供開始：GPT-4もサポート
New Relicは2023年3月15日、「OpenAI Observability（OpenAIオブザーバビリティ）」の提供を開始した。GPTのAPIを使うアプリケーションにおいて、パフォーマンスの最適化、コスト削減、結果の質の向上を実現できるという。
オブザーバビリティ（可観測性）プラットフォームを提供するNew Relicは2023年3月15日（米国時間）、OpenAIが提供する「GPT」シリーズのAPIで構築されたアプリケーションを監視する「OpenAI Observability（OpenAIオブザーバビリティ）」の提供を開始した。
OpenAIオブザーバビリティは、先日リリースされたGPT-4を含め、現時点で全てのバージョンのGPTをサポートする。
追加ライセンス購入の必要はなく、New Relicアカウント（期間無制限の無料枠）に登録すると、「New Relic Instant Observability（I/O）」でOpenAIオブザーバビリティを利用できる。
ユーザーは数行のコード追加で、OpenAI補完クエリを監視できる。具体的には、「monitor」モジュールを「nr_openai_monitor」ライブラリからインポートし、GPTのさまざまな主要パフォーマンスメトリクスを表示するダッシュボードを自動的に作成できる。パフォーマンスやコストメトリクスと同時にNew Relicの単一画面内でリアルタイムに追跡できるという。
New RelicはOpenAIオブザーバビリティで可能になることを次のようにまとめている。
- プロンプトとレスポンスの分析：GPT APIの使用量、スピード、有効性に関する有意義な情報を提供し、ユーザーが機械学習モデルでより良い結果を得られるように導く
- コストの監視：OpenAIの「Davinci」モデルの使用コストはすぐに加算されていくので、大規模運用が難しいが、OpenAIオブザーバビリティを使うことでGPT使用に関するリアルタイムでのコスト把握が可能となる
- パフォーマンスの最適化：平均応答時間やその他GPTリクエスト関連の主要パフォーマンスメトリクスに関するインサイトを可視化することで、使用状況を最適化する
多くの企業が、ヘルプデスクのチケットやライブチャットログのサポート、コンテンツや画像の開発などにGPTを活用し始めている。New Relicは、OpenAIオブザーバビリティによってOpenAIの生データを取り込めるようになり、企業が「ChatGPT」といったOpenAIベースの技術を活用しやすくなるとアピール。また、New Relicに統合できるデータの種類が増えることで利便性が向上するとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
「出力されたコード、そのまま使ったの？」 JiteraがChatGPTの業務利用に関する調査結果を発表
Jiteraは、「ChatGPTに関する調査」の結果を発表した。それによると業務でChatGPTを活用している企業は約14％で、ほとんどの会社で活用されていないことが分かった。
ChatGPTのAPIを使ってみよう：コンソールで対話するコードとは？
2023年3月にリリースされたChatGPTのAPIの使い方、APIの振る舞い、対話をどのように管理するのか、コンソールでAPIを介して対話をするコードなどを紹介します。
OpenAI、「ChatGPT」と「Whisper」のAPIを公開 料金体系、データの利用ポリシーは？
OpenAIは、対話に特化した言語モデル「ChatGPT」と音声認識モデル「Whisper」をAPIで利用できるようにした。