Oriveo
llama.cpp · iPhone

llama.cpp auf iPhone: direkter Client für lokale Rechenleistung

Verbinde iPhone mit llama.cpp auf deinem Rechner. Richte Listener, Firewall, privates Netzwerk und Oriveo ein, ohne die Engine öffentlich freizugeben.

  • Nutze deine vorhandene Rechenleistung von einem anderen Gerät, ohne Zugangsdaten über lokales HTTP zu senden.
  • Oriveo ist ein Client: llama.cpp muss auf einem Computer laufen. Das Modell läuft nicht auf dem Smartphone.
  • Gib eine Engine ohne Authentifizierung nie öffentlich frei. Nutze lokales WLAN oder ein VPN wie Tailscale; öffentliche und gemischte DNS-Ziele werden abgelehnt.

llama.cpp vorbereiten

Starte die Engine an einer privaten Schnittstelle, prüfe den Port lokal und erlaube ihn nur im LAN oder privaten VPN.

  • llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf
  • --chat-template /path/template.jinja
  • GET http://127.0.0.1:8080/health

Von iPhone verbinden

Wähle unter Anbieter Lokale Rechenleistung, Engine und private Adresse und prüfe das gefundene Modell vor dem Speichern.

Endpoint privat halten

Gib eine Engine ohne Authentifizierung nie öffentlich frei. Nutze lokales WLAN oder ein VPN wie Tailscale; öffentliche und gemischte DNS-Ziele werden abgelehnt.

Häufig gestellte Fragen

Ist ein Oriveo-Serverproxy nötig?

Nein. Native Apps verbinden direkt; die Web-App nutzt Local Network Access des Browsers und CORS.

Läuft das Modell auf dem Smartphone?

Nein. Es läuft auf deinem Computer oder Server; das Smartphone ist der Client.

Endpoint privat halten?

llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf · --chat-template /path/template.jinja · GET http://127.0.0.1:8080/health

Eigene Rechenleistung verbinden

Lade die native oder Desktop-App und verbinde die Engine im privaten Netzwerk.

Noch keinen API-Schlüssel? Starte mit Oriveo Free.