Open WebUI と Foundry Local の統合

このチュートリアルでは、Foundry Local と Open WebUI を使用してチャット アプリケーションを作成する方法について説明します。 完了すると、ローカル デバイス上で動作するチャット インターフェイスが完全に実行されます。

[前提条件]

このチュートリアルを開始する前に、次のものが必要です。

• Foundry Local がコンピューターにインストールされています。 インストール手順については、「 Foundry Local の概要 」ガイドを参照してください。

チャット用に Open WebUI を設定する

1. Open WebUI GitHub リポジトリの手順に従って 、Open WebUI をインストールします。

2. ターミナルで次のコマンドを使用して Open WebUI を起動します。

   open-webui serve
   

3. Web ブラウザーを開き、http://localhost:8080 に移動します。

4. 直接接続を有効にする:

   1. プロファイル メニューの [設定] と [管理者設定] を選択します。
   2. ナビゲーション メニューで [接続 ] を選択します。
   3. トグルをオンにして 直接接続 を有効にします。 これにより、ユーザーは独自の OpenAI 互換 API エンドポイントに接続できます。

5. Open WebUI を Foundry Local に接続する:

   1. プロファイル メニューの [設定] を選択します。
   2. ナビゲーション メニューで [接続 ] を選択します。
   3. [+] で [] を選択します。
   4. URL には、「http://localhost:PORT/v1が Foundry Local エンドポイント ポートであるPORT」と入力します (CLI コマンド foundry service statusを使用して見つけます)。 Foundry Local ではポートが動的に割り当てられるため、常に同じとは限りません。
   5. 認証の場合は、[なし] を選択します。
   6. [保存] を選びます。

6. モデルとのチャットを開始します。

   1. 読み込まれたモデルが上部のドロップダウンに表示される
   2. 一覧から任意のモデルを選択する
   3. 下部の入力ボックスにメッセージを入力します

それです！ これで、ローカル デバイス上で完全に実行されている AI モデルとチャットが行われます。

次のステップ

• 推論 SDK と Foundry Local の統合
• Foundry Local で実行する Hugging Face モデルをコンパイルする