Oriveo
vLLM · 多台设备

在多台设备使用 vLLM:直连自有算力

把多台设备直接连接到你电脑上运行的 vLLM。从监听地址、防火墙、私有网络到 Oriveo 配置均给出可执行步骤,无需把引擎暴露到公网。

  • 从另一台设备使用你已经拥有的算力;本地 HTTP 不发送 API 凭据。
  • Oriveo 是客户端:vLLM 必须运行在电脑上,不会在手机上运行模型。
  • 切勿把无认证引擎暴露到公网。请使用本地 Wi-Fi 或 Tailscale 等受支持的私有 VPN;公网和公私混合 DNS 目标会被拒绝。

准备 vLLM

让引擎仅监听私有接口,先在电脑本机确认端口,再只对局域网或私有 VPN 放行该端口。

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

从多台设备连接

在供应商中选择“本地算力”,选择对应引擎,输入私有地址,并在保存前核对发现的模型。

保持端点私有

切勿把无认证引擎暴露到公网。请使用本地 Wi-Fi 或 Tailscale 等受支持的私有 VPN;公网和公私混合 DNS 目标会被拒绝。

App 常见问题

是否需要经过 Oriveo 服务器代理?

不需要。原生应用直接连接;Web 版只使用浏览器本地网络访问和 CORS,不会让 Oriveo 服务器代理私网地址。

模型会在手机上运行吗?

不会。模型运行在你的电脑或服务器上,手机只是客户端。

保持端点私有?

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

连接你的自有算力

获取 Oriveo 原生应用或桌面下载,在私有网络中连接引擎。

还没有 API Key?可以先用 Oriveo Free 开始。