自有模型 · Tailscale

离家时用 Tailscale 直连你自己的模型

通过 Tailscale 等私有 VPN,在外面也能用手机连上家里电脑运行的本地大模型。从监听地址、防火墙到 Oriveo 里的设置一步步配好,不用把模型服务暴露到公网。

更新于
  • 在别的设备上调用你已有的算力;走本地 HTTP 时不发送任何 API 凭据。
  • Oriveo 只是客户端:本地大模型要运行在你的电脑或服务器上,模型不会在手机上运行。
  • 没有鉴权的模型服务不要暴露到公网。请用家里或办公室的 Wi-Fi,或 Tailscale 这类受支持的私有 VPN;公网地址和公私混合解析的域名会被拒绝。
iPhone 上的 Oriveo 供应商页面,列出你已接入的供应商和本月花费。

准备本地大模型服务

先让服务只监听内网地址,在电脑上确认端口能访问,再只对局域网或私有 VPN 放行这个端口。

  • tailscale ip -4
  • 100.64.0.0/10 · fd7a:115c:a1e0::/48
  • Oriveo → Private VPN

人在外面时怎么连

在“供应商”里选择“本地算力”,选好对应的引擎,填入内网地址,保存前确认识别到的模型没错。

只在私有网络里开放

没有鉴权的模型服务不要暴露到公网。请用家里或办公室的 Wi-Fi,或 Tailscale 这类受支持的私有 VPN;公网地址和公私混合解析的域名会被拒绝。

应用常见问题

需要经过 Oriveo 的服务器转发吗?
不需要。原生应用直接连接;网页版用的是浏览器的本地网络访问和 CORS,Oriveo 服务器不会代理你的内网地址。
模型是在手机上运行的吗?
不是。模型运行在你的电脑或服务器上,手机只负责收发消息。
需要用到哪些命令和端口?
tailscale ip -4 · 100.64.0.0/10 · fd7a:115c:a1e0::/48 · Oriveo → Private VPN

延伸阅读

来自博客

连接你自己的算力

在 iPhone 或 Android 上安装 Oriveo,或直接在浏览器里打开 Oriveo,然后连上你私有网络里的模型服务。

还没有 API Key?可以先用 Oriveo Free 开始。