vLLM · 多台设备

多台设备连接 vLLM:直连你自己的模型

直接连上你电脑上运行的 vLLM。从监听地址、防火墙、局域网或私有 VPN,到 Oriveo 里的设置,一步步配好,全程不用把模型服务暴露到公网。

更新于
  • 在别的设备上调用你已有的算力;走本地 HTTP 时不发送任何 API 凭据。
  • Oriveo 只是客户端:vLLM 要运行在你的电脑或服务器上,模型不会在手机上运行。
  • 没有鉴权的模型服务不要暴露到公网。请用家里或办公室的 Wi-Fi,或 Tailscale 这类受支持的私有 VPN;公网地址和公私混合解析的域名会被拒绝。
iPhone 上的 Oriveo 供应商页面,列出你已接入的供应商和本月花费。

准备 vLLM

先让服务只监听内网地址,在电脑上确认端口能访问,再只对局域网或私有 VPN 放行这个端口。

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

在各台设备上连接

在“供应商”里选择“本地算力”,选好对应的引擎,填入内网地址,保存前确认识别到的模型没错。

只在私有网络里开放

没有鉴权的模型服务不要暴露到公网。请用家里或办公室的 Wi-Fi,或 Tailscale 这类受支持的私有 VPN;公网地址和公私混合解析的域名会被拒绝。

应用常见问题

需要经过 Oriveo 的服务器转发吗?
不需要。原生应用直接连接;网页版用的是浏览器的本地网络访问和 CORS,Oriveo 服务器不会代理你的内网地址。
模型是在手机上运行的吗?
不是。模型运行在你的电脑或服务器上,手机只负责收发消息。
需要用到哪些命令和端口?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

延伸阅读

来自博客

连接你自己的算力

在 iPhone 或 Android 上安装 Oriveo,或直接在浏览器里打开 Oriveo,然后连上你私有网络里的模型服务。

还没有 API Key?可以先用 Oriveo Free 开始。