バリエーションと監視オプションを調べる

6 分

運用環境では、フローを最適化してデプロイする必要があります。最後に、フローを監視して、フローを改善する必要がある場合を理解する必要があります。

バリアントを使用してフローを最適化したり、エンドポイントにフローをデプロイしたり、主要なメトリックを評価してフローを監視したりできます。

バリアントを探索する

プロンプトフロー バリアント は、個別の設定を持つツールノードのバージョンです。現在、バリアントは LLM ツールでのみサポートされています。バリアントは別のプロンプトコンテンツまたは接続設定を表すことができます。バリアントを使用すると、ニュース記事の要約など、特定のタスクに対するアプローチをカスタマイズできます。

バリアントを使用する利点は次のとおりです。

LLM 生成の品質を向上させる: LLM ノードの多様なバリエーションを作成すると、高品質のコンテンツに最適なプロンプトと設定を見つけることができます。
時間と労力を節約: バリアントを使用すると、さまざまなプロンプトバージョンを簡単に管理および比較でき、履歴の追跡を合理化し、プロンプトチューニングの労力を削減できます。
生産性の向上: LLM ノードの最適化を簡素化し、バリエーションの迅速な作成と管理を可能にし、より短い時間でより良い結果を得ることができます。
簡単な比較を容易にする: バリアントを使用すると、結果を並べて比較し、データドリブンの決定に基づいて最も効果的なバリアントを選択できます。

フローをエンドポイントにデプロイする

フローのパフォーマンスに満足したら、 オンラインエンドポイントにデプロイすることを選択できます。エンドポイントは、任意のアプリケーションから呼び出すことができる URL です。オンラインエンドポイントに対して API 呼び出しを行うと、(ほぼ) 即時の応答が期待できます。

フローをオンラインエンドポイントにデプロイすると、プロンプトフローによって URL とキーが生成されるため、フローを他のアプリケーションやビジネスプロセスと安全に統合できます。エンドポイントを呼び出すと、フローが実行され、出力がリアルタイムで返されます。その結果、エンドポイントにフローをデプロイすると、別のアプリケーションで返すチャットやエージェントの応答を生成できます。

評価メトリックを監視する

プロンプトフローでは、評価メトリックの監視は、LLM アプリケーションのパフォーマンスを理解し、実際の期待を満たし、正確な結果を提供するために重要です。

アプリケーションが実用的なニーズを満たしているかどうかを理解するために、エンドユーザーのフィードバックを収集し、アプリケーションの有用性を評価できます。アプリケーションが正常に動作しているかどうかを理解するためのもう一つの方法は、LLMの予測を、予期された回答または基準真相の回答と比較して、その正確性と関連性を評価することです。 LLM アプリケーションの信頼性と効果を維持するために、LLM の予測を評価することが重要です。

メトリック

プロンプトフローでの評価の監視に使用される主要なメトリックは、それぞれ、LLM のパフォーマンスに関する一意の分析情報を提供します。

整合性: LLM アプリケーションの出力が入力ソースまたはデータベースとどの程度一致しているかを測定します。
関連性: LLM アプリケーションの出力が特定の入力にどの程度関連しているかを評価します。
一貫性: LLM アプリケーションのテキストの論理フローと読みやすさを評価します。
流暢性: LLM アプリケーションの出力の文法と言語の精度を評価します。
類似性: LLM アプリケーションの出力とグラウンド真実の間のコンテキストとセマンティックの一致を定量化します。

根拠、関連性、一貫性、流暢さ、類似性などのメトリックは、品質保証の鍵となり、LLM アプリケーションとの対話が正確かつ効果的であることを保証します。 LLM アプリケーションが期待どおりに動作しない場合は常に、実験に戻って、フローを改善する方法を繰り返し調べる必要があります。