次の方法で共有


Foundry Local の概要

Important

  • Foundry Local はプレビューで利用できます。 パブリック プレビュー リリースでは、デプロイ中の機能に早期にアクセスできます。
  • 一般提供 (GA) の前は、機能、アプローチ、プロセスが変更されたり、機能が制限されたりする場合があります。

このガイドでは、デバイスで AI モデルを実行するように Foundry Local を設定する手順について説明します。

Foundry Local の違い

Foundry Local は、LLM の専門家ではない IT プロフェッショナル向けに特別に設計されており、基本的なモデル ホスティング以外の統合機能を備えた、ローカル AI モデルのデプロイに対する簡略化されたアプローチを提供します。

Foundry Local と他のソリューション

特徴 ファウンドリー・ローカル 顔の抱き合い NVIDIA ラマ
対象ユーザー IT プロフェッショナル、LLM 以外の専門家 AI 研究者、開発者 GPU に重点を置いた開発者 メタ エコシステム ユーザー
セットアップの複雑さ 自動構成による簡単なインストール 手動構成が必要 複雑な GPU セットアップ 変数の複雑さ
ハードウェアの最適化 ハードウェアの自動検出と最適化 手動による最適化が必要 NVIDIA GPU フォーカス プラットフォームに依存
統合ツール 組み込みの CLI、API、および管理ツール 個別のツールが必要 開発者向けツール 制限付きツール
エンタープライズ機能 セキュリティ、コンプライアンス、管理の準備完了 コミュニティに重点を置いた パートナーシップを通じたエンタープライズ オープン ソースに重点を置いた
モデルの種類 自動バリアントを含むキュレーションされたカタログ 広範なモデル ハブ NVIDIA 最適化モデル ラマファミリーモデル

Foundry Local は、運用環境で使用するエンタープライズ レベルの機能を提供しながら、モデルデプロイの複雑さを取り除きます。

Prerequisites

Foundry Local を実行するには、システムが次の要件を満たしている必要があります。

  • オペレーティング システム: Windows 10 (x64)、Windows 11 (x64/ARM)、Windows Server 2025、macOS。
  • ハードウェア: 最小 8 GB の RAM、3 GB の空きディスク領域。 推奨される 16 GB RAM、15 GB の空きディスク領域。
  • ネットワーク: 初期モデルダウンロード用のインターネット接続 (オフライン使用の場合は省略可能)
  • アクセラレーション (省略可能): NVIDIA GPU (2,000 シリーズ以降)、AMD GPU (6,000 シリーズ以降)、Intel iGPU、Qualcomm Snapdragon X Elite (8 GB 以上のメモリ)、または Apple シリコン。

また、デバイスにソフトウェアをインストールするための管理特権があることを確認します。

クイック スタート

次のオプションを使用して、Foundry Local の使用をすばやく開始します。

オプション 1: クイック CLI のセットアップ

  1. Foundry Local のインストール

    • Windows: ターミナルを開き、次のコマンドを実行します。
      winget install Microsoft.FoundryLocal
      
    • macOS: ターミナルを開き、次のコマンドを実行します。
      brew tap microsoft/foundrylocal
      brew install foundrylocal
      

    または、 Foundry Local GitHub リポジトリからインストーラーをダウンロードすることもできます。

  2. 最初のモデルを実行する ターミナル ウィンドウを開き、次のコマンドを実行してモデルを実行します。

    foundry model run phi-3.5-mini 
    

    モデルのダウンロード (インターネットの速度によっては数分かかる場合があります) と、モデルが実行されます。 モデルが実行されたら、コマンド ライン インターフェイス (CLI) を使用してモデルを操作できます。 たとえば、次の質問を行うことができます。

    Why is the sky blue?
    

    ターミナルにモデルからの応答が表示されます。 foundry local run コマンドからの出力のスクリーンショット。

オプション 2: スターター プロジェクトをダウンロードする

実践的な実践的な学習を行う場合は、実際のシナリオを示すスターター プロジェクトの 1 つをダウンロードしてください。

各プロジェクトには次のものが含まれます。

  • ステップ バイ ステップのセットアップ手順
  • 完全なソース コード
  • 構成の例
  • ベスト プラクティスの実装

Tip

これらのスターター プロジェクトは、 ハウツー ガイド で説明されているシナリオと一致し、すぐに実用的な価値を提供します。

Tip

phi-3.5-miniは、カタログの任意のモデル名に置き換えることができます (使用可能なモデルについては、foundry model listを参照してください)。 Foundry Local は、システムのハードウェアとソフトウェアの構成に最も一致するモデルバリアントをダウンロードします。 たとえば、NVIDIA GPU を使用している場合、モデルの CUDA バージョンがダウンロードされます。 Qualcomm NPU がある場合は、NPU バリアントがダウンロードされます。 GPU または NPU がない場合は、CPU バージョンがダウンロードされます。

最新の OpenAI オープンソース モデルを実行する

最新の OpenAI オープン ソース モデル ( GPT-OSS-20B ) を実行するには、次のコマンドを使用します。

foundry model run gpt-oss-20b

Important

GPT-OSS-20B を実行するための要件:

  • 16 GB VRAM 以上の Nvidia GPU。
  • Foundry Local バージョン 0.6.87 以降。 これ以下のバージョンでは、モデルはサポートされません。 Foundry Local のバージョンは、次を実行して確認できます。
foundry --version

コマンドを探索する

Foundry CLI は、次の主要なカテゴリにコマンドを整理します。

  • モデル: モデルを管理および実行するためのコマンド。
  • サービス: Foundry Local サービスを管理するためのコマンド。
  • キャッシュ: ローカル モデル キャッシュを管理するためのコマンド (ローカル ディスクにダウンロードされたモデル)。

次のコマンドを使用して、使用可能なすべてのコマンドを表示します。

foundry --help

使用可能な モデル コマンドを表示するには、次のコマンドを実行します。

foundry model --help

使用可能な サービス コマンドを表示するには、次のコマンドを実行します。

foundry service --help

使用可能な キャッシュ コマンドを表示するには、次のコマンドを実行します。

foundry cache --help

Tip

すべての CLI コマンドとその使用方法に関する完全なガイドについては、 Foundry ローカル CLI リファレンスを参照してください

Foundry Local のアップグレード

Foundry Local を最新バージョンにアップグレードするには、オペレーティング システムに基づいて次のコマンドを使用します。

  • Windows: ターミナルを開き、次のコマンドを実行します。
    winget upgrade --id Microsoft.FoundryLocal
    
  • macOS: ターミナルを開き、次のコマンドを実行します。
    brew upgrade foundrylocal
    

Foundry Local のアンインストール

Foundry Local をアンインストールする場合は、オペレーティング システムに基づいて次のコマンドを使用します。

  • Windows: ターミナルを開き、次のコマンドを実行します。
    winget uninstall Microsoft.FoundryLocal
    
  • macOS: ターミナルを開き、次のコマンドを実行します。
    brew rm foundrylocal
    brew untap microsoft/foundrylocal
    brew cleanup --scrub