llama.cpp · iPhone

iPhone 連接 llama.cpp:直連你自己的算力

直接連上你電腦上執行的 llama.cpp。從監聽位址、防火牆、區域網路或私人 VPN,到 Oriveo 裡的設定,一步步設定好,全程不必把模型服務暴露在公開網路上。

更新於
  • 在其他裝置上使用你已經有的算力;走本機 HTTP 時不會傳送任何 API 憑證。
  • Oriveo 只是用戶端:llama.cpp 要在你的電腦或伺服器上執行,模型不會在手機上執行。
  • 沒有驗證機制的模型服務不要暴露在公開網路上。請用家裡或辦公室的 Wi-Fi,或 Tailscale 這類支援的私人 VPN;公開網路的位址,以及同時解析到公開與私人位址的網域,都會被拒絕。
iPhone 上的 Oriveo:供應商頁面,列出你已連接的供應商和本月花費。

準備 llama.cpp

先讓服務只監聽內網位址,在電腦上確認連接埠連得到,再只對區域網路或私人 VPN 開放這個連接埠。

  • llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf
  • --chat-template /path/template.jinja
  • GET http://127.0.0.1:8080/health

在 iPhone 上連接

在「供應商」裡選擇「本機算力」,選好對應的引擎,填入內網位址,儲存前確認偵測到的模型沒錯。

只在私人網路裡開放

沒有驗證機制的模型服務不要暴露在公開網路上。請用家裡或辦公室的 Wi-Fi,或 Tailscale 這類支援的私人 VPN;公開網路的位址,以及同時解析到公開與私人位址的網域,都會被拒絕。

App 常見問題

需要經過 Oriveo 的伺服器轉送嗎?
不需要。原生 App 直接連線;網頁版用的是瀏覽器的本機網路存取和 CORS,Oriveo 伺服器不會代理你的內網位址。
模型是在手機上執行的嗎?
不是。模型在你的電腦或伺服器上執行,手機只負責收發訊息。
會用到哪些指令和連接埠?
llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf · --chat-template /path/template.jinja · GET http://127.0.0.1:8080/health

延伸閱讀

來自部落格

連接你自己的算力

在 iPhone 或 Android 安裝 Oriveo,或直接在瀏覽器開啟 Oriveo,然後連上你私人網路裡的模型服務。

還沒有 API 金鑰?先用 Oriveo Free 免費開始也可以。