Azure OpenAI API 要求のキャッシュされた応答を取得する

適用対象: すべての API Management レベル

azure-openai-semantic-cache-lookup ポリシーを使用して、構成された外部キャッシュからの Azure OpenAI チャット完了 API 要求に対する応答のキャッシュ 検索を実行します。これは、以前の要求に対するプロンプトのベクトル近接性と、指定された類似性スコアのしきい値に基づいています。 応答のキャッシュを使用すると、バックエンド Azure OpenAI API の帯域幅および処理の要件が低減され、API コンシューマーによって認識される遅延が小さくなります。

Azure AI Foundry モデルでサポートされている Azure OpenAI

このポリシーは、次の種類の AI Foundry モデルで Azure OpenAI から API Management に追加された API と共に使用されます。

モデルとその機能の最新の情報については、「 Foundry モデルの Azure OpenAI」を参照してください。

ポリシー ステートメント

<azure-openai-semantic-cache-lookup
    score-threshold="score threshold to return cached response"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

属性

要素

使用法

• ポリシー セクション: inbound
• ポリシー スコープ: グローバル、製品、API、操作
• ゲートウェイ: クラシック、v2、従量課金、セルフホステッド

使用上の注意

• このポリシーは、ポリシー セクションで 1 回だけ使用できます。
• アプリケーションに基づいて score-threshold の値を微調整し、クエリに対してキャッシュされた応答を返すタイミングを決定するために適切な秘密度が使用されるようにします。 0.05 などの低い値から始めて、キャッシュ ヒットとミスの比率を最適化するように調整します。
• スコアのしきい値が 0.2 を超える場合、キャッシュの不一致が発生する可能性があります。 機密性の高いユース ケースには、より小さい値を使用することを検討してください。
• 特定のユーザーまたはユーザー グループの識別子を使用して vary-by を指定して、キャッシュ エントリへのクロスユーザー アクセスを制御します。
• 埋め込みモデルには、プロンプトのボリュームとプロンプトに対応できる十分な容量と十分なコンテキスト サイズが必要です。
• プロンプト攻撃から保護するために、プロンプト シールド付きの llm-content-safety ポリシーを追加することを検討してください。
• キャッシュ検索の直後に レート制限 ポリシー (または キーごとのレート制限 ポリシー) を構成することをお勧めします。 これにより、キャッシュが使用できない場合にバックエンド サービスが過負荷にならないようにすることができます。

例

対応する azure-openai-semantic-cache-store ポリシーの例

次の例では、 azure-openai-semantic-cache-lookup ポリシーと azure-openai-semantic-cache-store ポリシーを使用して、類似性スコアのしきい値が 0.05 のセマンティックに類似したキャッシュされた応答を取得する方法を示します。 キャッシュされた値は、呼び出し元のサブスクリプション ID によってパーティション分割されます。

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

関連ポリシー

• キャッシュ
• azure-openai-semantic-cache-store

関連するコンテンツ

ポリシーに対する処理の詳細については、次のトピックを参照してください。

• チュートリアル:API を変換および保護する
• ポリシー ステートメントとその設定の一覧に関するポリシー リファレンス
• ポリシー式
• ポリシーの設定または編集
• ポリシー構成を再利用する
• ポリシー スニペットのリポジトリ
• ポリシープレイグラウンドリポジトリ
• Azure API Management ポリシー ツールキット
• ポリシーの作成、説明、トラブルシューティングを行う Copilot のサポートを受ける