複数の端末 で vLLM に接続：ローカル計算を直接使う
自分のパソコンやサーバーで動くvLLMに、複数の端末から直接つなぎます。待ち受けアドレスやファイアウォールからOriveoの設定まで、インターネットに公開せずに使うための手順を説明します。
- 手元の計算資源を別の端末から使えます。ローカル HTTP では API の認証情報を送りません。
- Oriveo はクライアントです。vLLM はコンピューターやサーバーで動かす必要があり、スマートフォン上でモデルは動きません。
- 認証のないエンジンをインターネットに公開しないでください。自宅や職場の Wi-Fi、または Tailscale など対応するプライベート VPN を使います。パブリックアドレスや、パブリックとプライベートが混在する DNS 名は拒否されます。
vLLM を準備する
エンジンをプライベートなアドレスで起動し、コンピューター上でポートに接続できることを確かめてから、LAN またはプライベート VPN からのアクセスだけを許可します。
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
それぞれの端末から接続する
Oriveo の「プロバイダー」で「ローカル計算」を選び、使うエンジンを指定してプライベートアドレスを入力します。検出されたモデルを確認してから保存してください。
プライベートネットワークの中だけで使う
認証のないエンジンをインターネットに公開しないでください。自宅や職場の Wi-Fi、または Tailscale など対応するプライベート VPN を使います。パブリックアドレスや、パブリックとプライベートが混在する DNS 名は拒否されます。
アプリについてのよくある質問
Oriveo のサーバーを経由する必要はありますか？
ありません。ネイティブアプリは直接接続します。Web 版はブラウザーのローカルネットワークアクセスと CORS を使い、プライベートアドレスへの通信を Oriveo のサーバーで中継することはありません。
モデルはスマートフォンの上で動くのですか？
いいえ。モデルはコンピューターやサーバーで動き、スマートフォンはメッセージをやり取りするクライアントです。
どのコマンドとポートを使いますか？
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN