微調整では、パフォーマンスの向上、新しいスキルの追加、精度の向上のために、特定のタスクまたはデータセットに対するトレーニングを追加して、事前トレーニング済みの AI モデルをカスタマイズします。 結果は、提供された例に基づいて最適化された新しい GenAI モデルになります。 この記事では、ユース ケースに適した微調整の種類や、微調整のためのトレーニング手法のユース ケースに基づくモデルの選択基準、GenAI 体験でのそれがどのように役立つのかを含め、微調整する前に行う主要な概念と決定について説明します。
微調整を始めたばかりの場合は、言語翻訳、ドメイン適応、高度なコード生成などの複雑なスキルに GPT-4.1 をお勧めします。 より重点的なタスク (分類、センチメント分析、コンテンツ モデレーションなど) や、より高度なモデルからナレッジを蒸留する場合は、 GPT-4.1-mini から始めて、イテレーションを高速化し、コストを削減します。
微調整のための上位のユース ケース
特定のアプリケーションとドメインの言語モデルをカスタマイズする場合に優れた微調整を行います。 主なユース ケースには、次のようなものがあります。
- ドメインの特殊化: ドメイン固有の知識と用語が重要な、医学、金融、法律などの専門分野に言語モデルを適応させます。 技術的な専門用語を理解し、より正確な応答を提供するようにモデルに教えます。
- タスクのパフォーマンス: 感情分析、コード生成、翻訳、要約などの特定のタスクに対してモデルを最適化します。 汎用モデルと比較して、特定のアプリケーションで小さいモデルのパフォーマンスを大幅に向上させることができます。
- スタイルとトーン: お好みのコミュニケーション スタイルに合わせてモデルを教えます。たとえば、正式なビジネスライティング、ブランド固有の音声、技術的な書き込みにモデルを適応させます。
- 手順: 特定の書式設定要件、マルチステップ命令、または構造化された出力に従うモデルの機能を向上させます。 マルチエージェント フレームワークでは、適切なタスクに対して適切なエージェントを呼び出すようにモデルに教えます。
- コンプライアンスと安全性: 組織のポリシー、規制要件、またはアプリケーションに固有のその他のガイドラインに準拠するように、微調整されたモデルをトレーニングします。
- 言語または文化の適応: トレーニング データで適切に表現されない可能性がある特定の言語、方言、またはカルチャ コンテキストに合わせて言語モデルを調整します。 微調整は、汎用モデルが特定の要件を満たしていないが、モデルをゼロからトレーニングするコストと複雑さを避けたい場合に特に重要です。
サーバーレスコンピューティングとマネージド コンピューティングのどちらですか?
モデルを選択する前に、ニーズに合った微調整製品を選択することが重要です。 Azure の AI Foundry には、微調整のための 2 つの主要なモダリティ (サーバーレスコンピューティングとマネージド コンピューティング) が用意されています。
- サーバーレス を使用すると、100 万個の入力トークンあたり 1.70 ドルから始まる使用量ベースの価格で容量を使用してモデルをカスタマイズできます。 すべてのインフラストラクチャ管理を処理しながら、トレーニングの速度とスケーラビリティを最適化します。 このアプローチでは、GPU クォータは必要なく、OpenAI モデルへの排他的アクセスを提供しますが、マネージド コンピューティングよりもハイパーパラメーター オプションは少なくなります。
- マネージド コンピューティング は、AzureML を通じてより広範なモデルと高度なカスタマイズを提供しますが、トレーニングとホスティングのために独自の VM を提供する必要があります。 これによりリソースを完全に制御できますが、多くのお客様に不足している高いクォータが必要であり、OpenAI モデルは含まれていません。また、マルチテナントの最適化を使用することはできません。
ほとんどのお客様にとって、サーバーレスは使いやすさ、コスト効率、およびプレミアム モデルへのアクセスの最適なバランスを提供します。 このドキュメントでは、サーバーレス オプションについて説明します。
AI Foundry でモデルを微調整する手順については、AI Foundry のモデルの微調整 または マネージド コンピューティングを使用したモデルの微調整に関するページを参照してください。 OpenAI の微調整に関する詳細なガイダンスについては、「 Azure OpenAI モデルの微調整」を参照してください。
トレーニング手法
ユース ケースを特定したら、トレーニング用に選択したモデルをガイドする適切なトレーニング手法を選択する必要があります。 モデルを最適化するために、次の 3 つのトレーニング手法を提供します。
監視対象 Fine-Tuning (SFT): 入力と出力のペアでモデルをトレーニングし、特定の入力に対して必要な応答を生成するようにモデルを教える基本的な手法。
- 次の場合に最適です。 ドメインの特殊化、タスクのパフォーマンス、スタイルとトーン、次の手順、言語の適応など、ほとんどのユース ケース。
- 使用するタイミング: ほとんどのプロジェクトでここから始めます。 SFT は、さまざまな微調整シナリオに対応し、明確な入出力トレーニング データを使用して信頼性の高い結果を提供します。
- サポートされているモデル: GPT 4o、4o-mini、4.1、4.1-mini、4.1-nano;ラマ2とラマ3.1;Phi 4、Phi-4-mini-instruct;ミストラルニモ、Ministral-3B、ミストラルラージ(2411);NTT ツズミ-7b
ダイレクト 基本設定の最適化 (DPO): 別の報酬モデルを必要とせずに、比較フィードバックから学習することで、特定の種類の応答を他のモデルよりも優先するようにモデルをトレーニングします。
- 次の場合に最適です。 応答品質、安全性、および人間の好みに合わせて改善します。
- 使用するタイミング: 優先出力と非優先出力の例がある場合、または有用性、無害性、スタイルなどの主観的な性質を最適化する必要がある場合。 ユース ケースには、特定のスタイルとトーンにモデルを適応させるか、モデルをカルチャの好みに合わせて調整することが含まれます。
- サポートされているモデル: GPT 4o、4.1、4.1-mini、4.1-nano
強化 Fine-Tuning (RFT): 強化学習を使用して報酬信号に基づいてモデルを最適化し、より複雑な最適化の目標を実現します。
- 次の場合に最適です。 単純な入力と出力のペアでは十分ではない複雑な最適化シナリオ。
- 使用するタイミング: RFT は、明確な正しい回答と間違った回答があり、モデルに既にいくつかのコンピテンシーが示されている、数学、化学、物理学などの目的領域に最適です。 これは、幸運な推測が難しく、専門家のエバリュエーターが明確で正しい答えに一貫して同意する場合に最適です。 効果的に実装するには、より多くの ML の専門知識が必要です。
- サポートされているモデル: o4-mini
ほとんどのお客様は、最も多くの微調整のユース ケースに対処するため、SFT から始める必要があります。
このリンクに従って 、サンプル データセット を表示およびダウンロードして、微調整を試してください。
トレーニング モダリティ
- テキスト変換 (すべてのモデル): すべてのモデルでは、言語ベースのタスクに対して標準のテキストからテキストへの微調整がサポートされています。
- Vision + Text (GPT 4o、4.1): 一部のモデルでは、画像入力とテキスト入力の両方を受け入れ、テキスト出力を生成しながら、ビジョンの微調整をサポートしています。 視覚微調整のユース ケースには、グラフ、グラフ、ビジュアル データの解釈が含まれます。コンテンツ モデレーション;視覚的品質評価;テキストと画像が混在するドキュメント処理。写真から製品カタログを作成します。
モデル比較表
次の表に、使用可能なモデルの概要を示します。
| モデル | モダリティ | 技法 | 長所 |
|---|---|---|---|
| GPT 4.1 | テキスト、ビジョン | SFT、DPO | 高度なタスクに対する優れたパフォーマンス、微妙な理解 |
| GPT 4.1-mini | テキスト | SFT、DPO | 迅速な反復、コスト効率、単純なタスクに適しています |
| GPT 4.1-nano | テキスト | SFT、DPO | 高速でコスト効率に優れ、最小限のリソース使用量 |
| o4-mini | テキスト | RFT | 複雑な論理タスクに適した推論モデル |
| Phi 4 | テキスト | SFT | より簡単なタスクのコスト効率の高いオプション |
| Ministral 3B | テキスト | SFT | より高速な反復のための低コストオプション |
| ミストラル ネモ | テキスト | SFT | サイズと機能のバランス |
| ミストラル ラージ (2411) | テキスト | SFT | 最も能力の高いミストラル モデルで、複雑なタスクに適しています |
微調整を始める
- ユース ケースを定義します。 高度な能力を備える汎用モデル (GPT 4.1 など)、特定のタスクのコスト効率の高い小規模なモデル (GPT 4.1 ミニまたはナノ)、複雑な推論モデル (o4-mini) が必要かどうかを特定します。
- データを準備します。 最初のテストでは 50 ~ 100 個の高品質の例から始めて、実稼働モデルでは 500 以上の例にスケーリングします。
- 次の手法を選択します。 推論モデル/RFT の特定の要件がない限り、教師あり Fine-Tuning (SFT) から始めます。
- 反復処理と評価: 微調整は反復的なプロセスであり、ベースラインから開始し、パフォーマンスを測定し、結果に基づいてアプローチを調整します。
AI Foundry でモデルを微調整する手順については、「AI Foundry のモデルの微調整」、 Azure OpenAI モデルの微調整、または マネージド コンピューティングを使用したモデルの微調整に関するページを参照してください。
微調整の可用性
どのような場合にユース ケースに微調整を使用するかを把握したら、Azure AI Foundry にアクセスして、微調整に使用できるモデルを見つけることができます。
サーバーレスを使用して AI Foundry モデルを微調整するには 、モデルを微調整できるリージョンにハブ/プロジェクトが必要です。 モデルとリージョンの可用性の詳細については、 標準デプロイでのモデル の利用可能なリージョンと、プロジェクト を作成するハブ ベースのプロジェクトを作成する方法 に関する記事を参照してください。
OpenAI モデルを微調整するには 、Azure OpenAI リソース、Foundry リソースまたは既定のプロジェクト、またはハブ/プロジェクトを使用できます。 GPT 4.1、4.1-mini、4.1-nano は、グローバル トレーニングを使用するすべてのリージョンで利用できます。 リージョン別の可用性については、「 Azure OpenAI Fine Tuning のリージョンの可用性と制限」を参照してください。 新しい プロジェクトを作成する手順については、「Azure AI Foundry の プロジェクトを作成する」を参照してください。
マネージド コンピューティングを使用してモデルを微調整するには 、トレーニングと推論に使用できる VM クォータとハブ/プロジェクトが必要です。 マネージド コンピューティングの微調整を使用する方法と、ハブ ベースのプロジェクトを作成してプロジェクトを作成する方法の詳細については、マネージド コンピューティング (プレビュー) を使用してモデルを微調整する方法に関するページを参照してください。