llama.cpp · iPhone

llama.cpp na iPhonie: połączenie z komputerem

Połącz iPhone’a z llama.cpp na własnym komputerze: skonfiguruj adres, zaporę, sieć prywatną i Oriveo, nie wystawiając silnika do internetu.

Zaktualizowano
  • Korzystaj z mocy własnego komputera z dowolnego urządzenia. Przez lokalny HTTP nie są przesyłane żadne dane uwierzytelniające API.
  • Oriveo to tylko klient: llama.cpp musi działać na komputerze, a na samym telefonie model nie jest uruchamiany.
  • Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.
Oriveo na iPhonie: ekran dostawców z listą podłączonych dostawców i wydatkami z tego miesiąca.

Przygotuj llama.cpp

Uruchom silnik na prywatnym interfejsie sieciowym, sprawdź port na samym komputerze, a dopiero potem otwórz go wyłącznie dla sieci domowej lub prywatnej sieci VPN.

  • llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf
  • --chat-template /path/template.jinja
  • GET http://127.0.0.1:8080/health

Połącz się z iPhone’a

W sekcji „Dostawcy” wybierz „Obliczenia lokalne”, wskaż swój silnik i podaj prywatny adres. Przed zapisaniem upewnij się, że wykryty model jest tym, o który ci chodzi.

Trzymaj adres z dala od internetu

Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.

Najczęstsze pytania

Czy potrzebny jest do tego serwer proxy Oriveo?
Nie. Aplikacje natywne łączą się bezpośrednio. Wersja webowa korzysta z dostępu przeglądarki do sieci lokalnej (Local Network Access) i CORS, więc prywatny adres nie przechodzi przez serwery Oriveo.
Czy model działa na telefonie?
Nie. Model działa na twoim komputerze lub serwerze, a telefon jest tylko klientem.
Jakie polecenia i porty będą potrzebne?
llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf · --chat-template /path/template.jinja · GET http://127.0.0.1:8080/health

Powiązane lektury

Połącz własny komputer

Zainstaluj Oriveo na iOS lub Androidzie albo otwórz je w przeglądarce, a potem połącz się z silnikiem w swojej prywatnej sieci.

Nie masz jeszcze klucza API? Zacznij od Oriveo Free.