Ist ein Oriveo-Serverproxy nötig?
Nein. Native Apps verbinden direkt; die Web-App nutzt Local Network Access des Browsers und CORS.
vLLM auf mehreren Geräten: direkter Client für lokale Rechenleistung
Verbinde mehreren Geräten mit vLLM auf deinem Rechner. Richte Listener, Firewall, privates Netzwerk und Oriveo ein, ohne die Engine öffentlich freizugeben.
- Nutze deine vorhandene Rechenleistung von einem anderen Gerät, ohne Zugangsdaten über lokales HTTP zu senden.
- Oriveo ist ein Client: vLLM muss auf einem Computer laufen. Das Modell läuft nicht auf dem Smartphone.
- Gib eine Engine ohne Authentifizierung nie öffentlich frei. Nutze lokales WLAN oder ein VPN wie Tailscale; öffentliche und gemischte DNS-Ziele werden abgelehnt.
vLLM vorbereiten
Starte die Engine an einer privaten Schnittstelle, prüfe den Port lokal und erlaube ihn nur im LAN oder privaten VPN.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
Von mehreren Geräten verbinden
Wähle unter Anbieter Lokale Rechenleistung, Engine und private Adresse und prüfe das gefundene Modell vor dem Speichern.
Endpoint privat halten
Gib eine Engine ohne Authentifizierung nie öffentlich frei. Nutze lokales WLAN oder ein VPN wie Tailscale; öffentliche und gemischte DNS-Ziele werden abgelehnt.
Häufig gestellte Fragen
Läuft das Modell auf dem Smartphone?
Nein. Es läuft auf deinem Computer oder Server; das Smartphone ist der Client.
Endpoint privat halten?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN
Eigene Rechenleistung verbinden
Lade die native oder Desktop-App und verbinde die Engine im privaten Netzwerk.
Noch keinen API-Schlüssel? Starte mit Oriveo Free.
Ratgeber
Local LLM · unterwegs
Local LLM auf unterwegs: direkter Client für lokale Rechenleistung
Verbinde unterwegs mit Local LLM auf deinem Rechner. Richte Listener, Firewall, privates Netzwerk und Oriveo ein, ohne die Engine öffentlich freizugeben.
llama.cpp · iPhonellama.cpp auf iPhone: direkter Client für lokale Rechenleistung
Verbinde iPhone mit llama.cpp auf deinem Rechner. Richte Listener, Firewall, privates Netzwerk und Oriveo ein, ohne die Engine öffentlich freizugeben.
LM Studio · MobilgerätenLM Studio auf Mobilgeräten: direkter Client für lokale Rechenleistung
Verbinde Mobilgeräten mit LM Studio auf deinem Rechner. Richte Listener, Firewall, privates Netzwerk und Oriveo ein, ohne die Engine öffentlich freizugeben.