Oriveo
llama.cpp · iPhone

在iPhone使用 llama.cpp:直連自有算力

將iPhone直接連接到你電腦上執行的 llama.cpp。提供監聽位址、防火牆、私人網路與 Oriveo 設定步驟,不必把引擎暴露到公網。

  • 從另一部裝置使用你已擁有的算力;本機 HTTP 不會傳送 API 憑證。
  • Oriveo 是用戶端:llama.cpp 必須在電腦上執行,不會在手機上執行模型。
  • 切勿把無驗證引擎暴露到公網。請使用本機 Wi-Fi 或 Tailscale 等支援的私人 VPN;公網及公私混合 DNS 目標會被拒絕。

準備 llama.cpp

只讓引擎監聽私人介面,先在電腦本機確認連接埠,再只對區域網路或私人 VPN 開放。

  • llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf
  • --chat-template /path/template.jinja
  • GET http://127.0.0.1:8080/health

從iPhone連接

在供應商中選擇「本機算力」,選取相符引擎,輸入私人位址,並在儲存前核對找到的模型。

保持端點私有

切勿把無驗證引擎暴露到公網。請使用本機 Wi-Fi 或 Tailscale 等支援的私人 VPN;公網及公私混合 DNS 目標會被拒絕。

常見問題

需要經過 Oriveo 伺服器代理嗎?

不需要。原生 App 直接連線;網頁版只使用瀏覽器本機網路存取與 CORS,不會由 Oriveo 伺服器代理私人位址。

模型會在手機上執行嗎?

不會。模型在你的電腦或伺服器上執行,手機只是用戶端。

保持端點私有?

llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf · --chat-template /path/template.jinja · GET http://127.0.0.1:8080/health

連接你的自有算力

取得 Oriveo 原生 App 或桌面下載,在私人網路中連接引擎。

還沒有 API Key?可以先用 Oriveo Free 開始。