Intel Arc B60 2枚で自宅AIサーバー 導入記録

 

はじめに

Intel Arc Pro B60(24GB)2枚の自宅PCで、125BのMoEモデル Qwen3.8-Flash-Next を動かし、生成速度を 44.9 tok/s から約 65 tok/s まで上げました。設定の変更だけで、追加の出費はゼロです。

この記事は、その導入から運用までの記録です。作業は Claude Code と相談しながら進めました。

この記事でわかること:

  • XeStrata のインストール直後に出た速度と、そこで見落としやすい落とし穴
  • 2枚のGPUの「層の分け方」を変えて測った実測値
  • 突然落ちないための安定化と、常駐させる方法
  • iPhone など他の端末や外出先から安全に使う方法(Tailscale)
  • エージェント「Hermes Agent」を、クラウドではなく自宅のモデルにつなぐ方法

きっかけは、B60 と XeStrata を紹介した shi3z さんの note 記事です。この記事は、同じチップを2枚で動かした場合の追試と運用記録として読んでください。

構成とモデル選び

使ったのは、Ryzen 3000世代の自作PCにB60を2枚挿したマシンです。

  • マザーボード: ASRock B550 Steel Legend
  • CPU: AMD Ryzen 9 3900X(12コア、AVX2)
  • RAM: 約30GB(OSから見える容量)
  • GPU: Intel Arc Pro B60 24GB × 2(VRAM合計 48GB)
  • OS: Ubuntu 26.04
  • 推論エンジン: XeStrata(Intel / AMD / NVIDIA対応のStrata派生版)

XeStrataのインストーラーは、11種類のモデルから選ばせてくれます。私は既定の Qwen3.8-Flash-Next を選びました。理由は次のとおりです。

  • UD-IQ4_XS(4ビット、94GB)はRAMが約80GB必要です。RAM 30GBでは大半をSSDから読むことになり、遅くなります。
  • GLM-5.3-Flash はRAMとVRAMを合わせて95GB以上必要で、このPC(約78GB)では足りません。
  • Coder版 はRAMが約32GB必要で、ギリギリです。

VRAMは48GBと多い一方で、RAMは少なめです。このアンバランスが、この後の話の前提になります。

インストールと最初の結果

インストーラーの質問に答えていくだけで、動くところまでは進みます。結果は 44.9 tok/s、エキスパートキャッシュのヒット率は97.2%でした。

ただし、ログには気になる点が3つありました。

  1. 量子化が Q2_0(2ビット)になった。RAM 30GBでは、これより大きいものは選ばれません。
  2. 128Kコンテキストの警告。「KVキャッシュでVRAMが埋まり、エンジンが起動しない」という警告が出ました。短い会話では動きますが、長い入力で落ちる恐れがあります。
  3. リアルタイム制限の警告。RLIMIT_RTTIME によって、プロセスが突然 signal 9 で殺される可能性がある、という警告です。

そして一番大きかったのは、ログの最後の一行でした。

[ok] GPU: GPU 0 (Intel Arc Pro B60, 24 GB)

2枚挿しているのに、1枚しか使っていませんでした。

落とし穴: 遅いほうのGPUが選ばれていた

インストーラーが選んだ GPU 0 は、チップセット経由の PCIe 3.0 x4 につながったカードでした。もう1枚は CPU 直結の PCIe 4.0 x8 で、帯域は約4倍あります。

  • GPU 0: B550チップセット経由、PCIe 3.0 x4(約3.9 GB/s)→ 初期設定ではこちらを使用
  • GPU 1: CPU直結、PCIe 4.0 x8(約15.8 GB/s)→ 未使用

インストーラーは「VRAMが一番大きいカード、同じなら番号の小さいほう」を選びます。同じB60が2枚あると、接続の速さは考えずに GPU 0 が選ばれます。

B550やX570のマザーボードでは、2本目のx16形状スロットがチップセット経由のx4になっていることがよくあります。見た目ではわかりません。

確認方法

lspci -vv は root でないと接続速度が見えません。sysfs なら一般ユーザーでも読めます。

for d in $(lspci -D | grep -iE 'vga|display' | awk '{print $1}'); do
  p=$(readlink -f /sys/bus/pci/devices/$d)
  echo "== $d"
  for up in $(echo $p | tr / '\n' | grep -E '^[0-9a-f]{4}:'); do
    echo "  $(lspci -s $up | cut -c9-60)  $(cat /sys/bus/pci/devices/$up/current_link_speed) x$(cat /sys/bus/pci/devices/$up/current_link_width)"
  done
done

経路の途中に 500 Series Chipset Switch が出てくるカードが、チップセット経由です。

注意点が1つあります。B60自身のリンクは、カード内部のブリッジのせいで 2.5 GT/s x1 と表示されます。実際の速さは、その1つ上のブリッジの値で判断してください。

2枚構成にして、層の分け方を測る

速い GPU 1 を先頭にした2枚構成にすると、44.9 tok/s が 61.9 tok/s になりました。さらに層の分け方を手で調整して、平均 65.2 tok/s まで上がりました。

設定コマンド

XeStrata は --gpus で複数のGPUに層を分けられます。最初に書いたGPUが前半の層を担当します。モデルはダウンロード済みなので、設定し直しは数分で終わります。

xestrata --setup --family qwen --model Q2_0 \
  --gpus 1,0 --layer-split 28 --context 65536 --yes --no-start
  • --gpus 1,0: 速い GPU 1 が前半、GPU 0 が後半を担当
  • --layer-split 28: GPU 0 が担当する最初の層(48層のうち 0〜27 が GPU 1、28〜47 が GPU 0)
  • --context 65536: 128Kの警告を避け、VRAMをエキスパートキャッシュに回す

分け方の実測

自動で決まった分け方は35でした。そのとき GPU 0 のVRAMは約6.2GB余っていたので、前後の値も試しました。同じ質問(出力1500トークン)を3回ずつ送っています。

  • 28(GPU 1 / GPU 0 = 28 / 20層): 63.7、68.2、63.6 → 平均 65.2 tok/s(最速)
  • 31(31 / 17層): 50.1、45.8、49.6 → 平均 48.5 tok/s
  • 35、自動(35 / 13層): 63.3、64.8、60.1 → 平均 62.7 tok/s
  • 38(38 / 10層): 45.4、53.5、60.7 → 平均 53.2 tok/s

わかったこと:

  • 28が一番速かった。ただし、35との差(約4%)は回ごとのぶれと同じくらいです。「少なくとも自動より悪くない」程度に考えてください。
  • 31だけ大きく下がった。理由はわかっていません。分け方と速さは、きれいな右肩上がりにはなりません。
  • どの設定でも、キャッシュのヒット率は98〜99%台でした。
  • 自動で決まる分け方が最適とは限りません。自分の環境で数値を振って測るのが確実です。

測定は、設定し直し→起動→APIに3回質問→ログの done: 行を拾う、を繰り返すスクリプトで自動化しました。1つの値に約5分かかります。

安定して動かす: サービス化とリアルタイム制限の解除

XeStrata には systemd のユーザーサービス xestrata.service が同梱されています。これに追加設定を1つ加えるだけで、リアルタイム制限の警告も消せます。

警告の中身は、「デスクトップの音声システムが RLIMIT_RTTIME を設定しており、Linux が理由も表示せずにプロセスを終了させることがある」というものです。私の環境では rtkit が入っていても警告が出ました。

mkdir -p ~/.config/systemd/user/xestrata.service.d
printf '[Service]\nLimitRTTIME=infinity\n' \
  > ~/.config/systemd/user/xestrata.service.d/rttime.conf
systemctl --user daemon-reload
systemctl --user start xestrata

よく使う操作:

  • 起動 / 停止: systemctl --user start xestrata / systemctl --user stop xestrata
  • ログを見る: journalctl --user -u xestrata -f
  • ログイン時に自動起動: systemctl --user enable xestrata
  • ログインしていなくても動かす: sudo loginctl enable-linger <ユーザー名>

systemd-run --user --collect -p LimitRTTIME=infinity -- xestrata で一時的に起動する方法もあります。ただし --unit=xestrata を付けると、同梱のサービスと名前がぶつかって失敗します。

他の端末や外出先から使う

APIキーを付けてLANに公開し、Tailscale を重ねると、ルーターのポートを開けずに iPhone から外出先でも使えます。

1. APIキー付きで公開する

KEY=$(openssl rand -hex 16); echo $KEY   # メモしておく
systemctl --user stop xestrata
xestrata --setup --family qwen --model Q2_0 --gpus 1,0 --layer-split 28 \
  --context 65536 --host 0.0.0.0 --api-key "$KEY" --yes --no-start
systemctl --user start xestrata

--setup をやり直すときは、速度の設定(--gpus など)も毎回すべて指定してください。省くと、初期値に戻ることがあります。

キーなしの接続は 401 で拒否され、キーありなら 200 が返ることを curl で確認しました。

2. ファイアウォール(ufw)

# 家のLANからだけ許可(サブネットは自分の環境に合わせる)
sudo ufw allow from 192.168.x.0/24 to any port 8095 proto tcp
# Tailscale 経由を許可
sudo ufw allow in on tailscale0 to any port 8095 proto tcp

3. Tailscale

curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up   # 表示されたURLでログイン

iPhoneにも Tailscale アプリを入れ、同じアカウントでログインします。PCにはホスト名から名前が付くので、http://<PCの名前>:8095/ で開けます。

4. iPhoneでAPIキーを登録する

  1. Safari で http://<PCの名前>:8095/ を開く
  2. 「API key needed」と出たら About → Settings を開く
  3. API key 欄にキーを入力し、欄の外をタップする(「API key saved」と出ればOK)
  4. 共有ボタンの「ホーム画面に追加」で、アプリのように使える

キーはそのブラウザの中だけに保存されます。プライベートブラウズでは保存されません。

Hermes Agent を自宅のモデルにつなぐ

Nous Research のエージェント「Hermes Agent」(v0.23.1)を入れたところ、初期設定では接続先が Nous のクラウド(inference-api.nousresearch.com)になっていました。そのまま使うと、会話が外部に送られます。ローカルで使いたい人は、必ず確認してください。

インストール

sudo apt install -y git   # git が無いと「git is required」で止まる
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

スクリプトは実行前に中身を確認しました。固定版の uv をハッシュ確認付きで取得し、ホームディレクトリ配下に入れるだけです。

接続先をローカルに切り替える

cp ~/.hermes/config.yaml ~/.hermes/config.yaml.bak
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8095/v1
hermes config set model.api_key <XeStrataのAPIキー>
hermes config set model.default qwen3.8-flash-next

会話の要約や画像の解析などの補助処理も、初期設定(auxiliary.*.provider: auto)ではメインのモデルを使います。これで全部ローカルで処理されます。利用状況を送る telemetry はオフでした。

動作確認

hermes -z "このPCのCPUのモデル名を調べて、日本語で一行で答えて"

Hermes が自分でコマンドを実行してCPUを調べ、約16秒で正しく答えました。

  • Hermes は毎回、ツールの説明などで約1万2千トークンの指示文を送ります。最初の読み込みに約10秒かかります。
  • 生成速度は 56〜72 tok/s でした。
  • コンテキスト64Kでも、今回の短いテストでは問題ありませんでした。

Hermes は PC 上でコマンドを実行できます。危ない操作の前の確認は内容を見てから許可し、--yolo(確認をすべて飛ばす)は使わないほうが安全です。

まとめと次の一手

追加の出費なしで、44.9 tok/s から約65 tok/s(+45%)になり、外出先のiPhoneやエージェントから使える自宅AIサーバーになりました。

  • インストール直後: 44.9 tok/s(GPU 0 のみ、チップセット経由)
  • 2枚構成: 61.9 tok/s(--gpus 1,0、コンテキスト64K)
  • 分け方を調整: 平均 65.2 tok/s(--layer-split 28)

ポイントは3つです。

  1. GPUがどこにつながっているかを確かめる。同じカード2枚でも、スロットで帯域が4倍違います。
  2. 自動設定を信じすぎず、数値を振って測る。
  3. 外から使うなら、APIキーとTailscale。ポート開放は不要です。

次の一手: RAMを64GBにする

今のボトルネックはRAMです。30GBでは Q2_0(2ビット)しか選べません。RAMを64GBにすれば IQ3_XXS(3ビット)が使え、答えの質が上がる見込みです。Ryzen 9 3900X は DDR4 を最大128GBまで載せられます。増設したら、同じ方法で測り直して追記します。

参考

※この記事は note にも掲載しています。

コメント

人気の投稿