Foundry Local で実行する Hugging Face モデルをコンパイルする

Foundry Local は、高パフォーマンスでデバイス上で ONNX モデルを実行します。 モデル カタログにはすぐに 使用できるプリコンパイル済みオプションが用意されていますが、ONNX 形式の任意のモデルを使用できます。

Safetensor または PyTorch 形式の既存のモデルを ONNX 形式にコンパイルするには、 Olive を使用できます。 Olive は、モデルを ONNX 形式に最適化し、Foundry Local でのデプロイに適したツールです。 量子 化 や グラフの最適化 などの手法を使用してパフォーマンスを向上させます。

このガイドでは、次の方法について説明します。

[前提条件]

• Python 3.10 以降

Olive をインストールする

Olive は、モデルを ONNX 形式に最適化するツールです。

pip install olive-ai[auto-opt]

pip install olive-ai[auto-opt]

Hugging Face にサインインする

Llama-3.2-1B-Instruct モデルを最適化します。これには、Hugging Face 認証が必要です。

huggingface-cli login

huggingface-cli login

モデルをコンパイルする

手順 1: Olive auto-opt コマンドを実行する

Olive auto-opt コマンドを使用して、モデルのダウンロード、変換、量子化、最適化を行います。

olive auto-opt \
    --model_name_or_path meta-llama/Llama-3.2-1B-Instruct \
    --trust_remote_code \
    --output_path models/llama \
    --device cpu \
    --provider CPUExecutionProvider \
    --use_ort_genai \
    --precision int4 \
    --log_level 1

olive auto-opt `
    --model_name_or_path meta-llama/Llama-3.2-1B-Instruct `
    --trust_remote_code `
    --output_path models/llama `
    --device cpu `
    --provider CPUExecutionProvider `
    --use_ort_genai `
    --precision int4 `
    --log_level 1

このコマンドでは、次のパラメーターを使用します。

手順 2: 出力モデルの名前を変更する

Olive は、汎用の model ディレクトリにファイルを配置します。 使いやすくするために名前を変更します。

cd models/llama
mv model llama-3.2

cd models/llama
Rename-Item -Path "model" -NewName "llama-3.2"

手順 3: チャット テンプレート ファイルを作成する

チャット テンプレートは、会話型 AI モデルに対する入力メッセージと出力メッセージの処理方法を定義する構造化形式です。 ロール (システム、ユーザー、アシスタントなど) と会話の構造を指定して、モデルがコンテキストを理解し、適切な応答を生成できるようにします。

Foundry Local では、適切な応答を生成するために、 inference_model.json というチャット テンプレート JSON ファイルが必要です。 テンプレート のプロパティは、モデル名と PromptTemplate オブジェクトです。このオブジェクトには、Foundry Local が実行時にユーザー プロンプトと共に挿入する {Content} プレースホルダーが含まれています。

{
  "Name": "llama-3.2",
  "PromptTemplate": {
    "assistant": "{Content}",
    "prompt": "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\nCutting Knowledge Date: December 2023\nToday Date: 26 Jul 2024\n\nYou are a helpful assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n{Content}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
  }
}

チャット テンプレート ファイルを作成するには、Hugging Face ライブラリの apply_chat_template メソッドを使用します。

# generate_inference_model.py
# This script generates the inference_model.json file for the Llama-3.2 model.
import json
import os
from transformers import AutoTokenizer

model_path = "models/llama/llama-3.2"

tokenizer = AutoTokenizer.from_pretrained(model_path)
chat = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "{Content}"},
]


template = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

json_template = {
  "Name": "llama-3.2",
  "PromptTemplate": {
    "assistant": "{Content}",
    "prompt": template
  }
}

json_file = os.path.join(model_path, "inference_model.json")

with open(json_file, "w") as f:
    json.dump(json_template, f, indent=2)

以下を使用してスクリプトを実行します。

python generate_inference_model.py

モデルを実行する

Foundry Local CLI、REST API、または OpenAI Python SDK を使用して、コンパイル済みモデルを実行できます。 まず、モデル キャッシュ ディレクトリを、前の手順で作成した models ディレクトリに変更します。

foundry cache cd models
foundry cache ls  # should show llama-3.2

foundry cache cd models
foundry cache ls  # should show llama-3.2

foundry cache cd ./foundry/cache/models.

Foundry ローカル CLI の使用

foundry model run llama-3.2 --verbose

foundry model run llama-3.2 --verbose

OpenAI Python SDK の使用

OpenAI Python SDK は、Foundry Local REST API と対話するための便利な方法です。 次のコマンドを使用してインストールできます。

pip install openai
pip install foundry-local-sdk

次に、次のコードを使用してモデルを実行できます。

import openai
from foundry_local import FoundryLocalManager

modelId = "llama-3.2"

# Create a FoundryLocalManager instance. This will start the Foundry 
# Local service if it is not already running and load the specified model.
manager = FoundryLocalManager(modelId)

# The remaining code us es the OpenAI Python SDK to interact with the local model.

# Configure the client to use the local Foundry service
client = openai.OpenAI(
    base_url=manager.endpoint,
    api_key=manager.api_key  # API key is not required for local usage
)

# Set the model to use and generate a streaming response
stream = client.chat.completions.create(
    model=manager.get_model_info(modelId).id,
    messages=[{"role": "user", "content": "What is the golden ratio?"}],
    stream=True
)

# Print the streaming response
for chunk in stream:
    if chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)

仕上げ

カスタム モデルの使用が完了したら、次を使用してモデル キャッシュを既定のディレクトリにリセットする必要があります。

foundry cache cd ./foundry/cache/models

次のステップ

• オリーブの詳細を確認する
• 推論 SDK と Foundry Local の統合