Oriveo
vLLM · 多部裝置

在多部裝置使用 vLLM:直連自有算力

將多部裝置直接連接到你電腦上執行的 vLLM。提供監聽位址、防火牆、私人網路與 Oriveo 設定步驟,不必把引擎暴露到公網。

  • 從另一部裝置使用你已擁有的算力;本機 HTTP 不會傳送 API 憑證。
  • Oriveo 是用戶端:vLLM 必須在電腦上執行,不會在手機上執行模型。
  • 切勿把無驗證引擎暴露到公網。請使用本機 Wi-Fi 或 Tailscale 等支援的私人 VPN;公網及公私混合 DNS 目標會被拒絕。

準備 vLLM

只讓引擎監聽私人介面,先在電腦本機確認連接埠,再只對區域網路或私人 VPN 開放。

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

從多部裝置連接

在供應商中選擇「本機算力」,選取相符引擎,輸入私人位址,並在儲存前核對找到的模型。

保持端點私有

切勿把無驗證引擎暴露到公網。請使用本機 Wi-Fi 或 Tailscale 等支援的私人 VPN;公網及公私混合 DNS 目標會被拒絕。

常見問題

需要經過 Oriveo 伺服器代理嗎?

不需要。原生 App 直接連線;網頁版只使用瀏覽器本機網路存取與 CORS,不會由 Oriveo 伺服器代理私人位址。

模型會在手機上執行嗎?

不會。模型在你的電腦或伺服器上執行,手機只是用戶端。

保持端點私有?

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

連接你的自有算力

取得 Oriveo 原生 App 或桌面下載,在私人網路中連接引擎。

還沒有 API Key?可以先用 Oriveo Free 開始。