ローカルLLM · Tailscale

外出先からTailscaleでローカルLLMに接続

TailscaleなどのプライベートVPNを使えば、外出先のスマートフォンから、自宅のパソコンで動くローカルLLMにつなげます。インターネットに公開せずに設定できます。

更新日
  • 手元の計算資源を別の端末から使えます。ローカル HTTP では API の認証情報を送りません。
  • Oriveoはクライアントです。ローカルLLMはパソコンやサーバーで動かす必要があり、スマートフォンの上でモデルは動きません。
  • 認証のないエンジンをインターネットに公開しないでください。自宅や職場の Wi-Fi、または Tailscale など対応するプライベート VPN を使います。パブリックアドレスや、パブリックとプライベートが混在する DNS 名は拒否されます。
iPhone版Oriveoのプロバイダー画面。接続済みのプロバイダーと今月の利用額が並びます。

ローカルLLMのサーバーを準備する

エンジンをプライベートなアドレスで起動し、コンピューター上でポートに接続できることを確かめてから、LAN またはプライベート VPN からのアクセスだけを許可します。

  • tailscale ip -4
  • 100.64.0.0/10 · fd7a:115c:a1e0::/48
  • Oriveo → Private VPN

自宅の外のネットワークから接続する

Oriveo の「プロバイダー」で「ローカル計算」を選び、使うエンジンを指定してプライベートアドレスを入力します。検出されたモデルを確認してから保存してください。

プライベートネットワークの中だけで使う

認証のないエンジンをインターネットに公開しないでください。自宅や職場の Wi-Fi、または Tailscale など対応するプライベート VPN を使います。パブリックアドレスや、パブリックとプライベートが混在する DNS 名は拒否されます。

アプリについてのよくある質問

Oriveo のサーバーを経由する必要はありますか?
ありません。ネイティブアプリは直接接続します。Web 版はブラウザーのローカルネットワークアクセスと CORS を使い、プライベートアドレスへの通信を Oriveo のサーバーで中継することはありません。
モデルはスマートフォンの上で動くのですか?
いいえ。モデルはコンピューターやサーバーで動き、スマートフォンはメッセージをやり取りするクライアントです。
どのコマンドとポートを使いますか?
tailscale ip -4 · 100.64.0.0/10 · fd7a:115c:a1e0::/48 · Oriveo → Private VPN

関連記事

ブログの記事

自分の計算資源につなぐ

iPhone か Android に Oriveo のネイティブアプリを入れるか、ブラウザーで Oriveo を開いて、プライベートネットワーク上のエンジンに接続しましょう。

APIキーがまだなくても、Oriveo Freeで始められます。