vLLM auf mehreren Geräten: eigene Rechenleistung nutzen
Verbinde Oriveo mit vLLM auf deinem eigenen Rechner. Richte Listener, Firewall und privates Netzwerk ein, ohne die Engine ins Internet zu stellen.
- Nutze die Rechenleistung, die du schon hast, von einem anderen Gerät aus; über lokales HTTP werden keine API-Zugangsdaten gesendet.
- Oriveo ist ein Client: vLLM muss auf einem Computer oder Server laufen. Das Modell läuft nicht auf dem Smartphone.
- Stell eine Engine ohne Authentifizierung nie ins öffentliche Internet. Nutze dein lokales WLAN oder ein unterstütztes privates VPN wie Tailscale; öffentliche Adressen und DNS-Namen, die öffentliche und private Adressen mischen, werden abgelehnt.
vLLM vorbereiten
Starte die Engine auf einer privaten Schnittstelle, prüfe den Port direkt auf dem Rechner und gib ihn nur für dein lokales Netz oder dein privates VPN frei.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
Von mehreren Geräten aus verbinden
Wähle unter Anbieter „Lokale Rechenleistung“, dann die passende Engine, gib die private Adresse ein und prüfe vor dem Speichern das erkannte Modell.
Den Endpunkt im privaten Netz halten
Stell eine Engine ohne Authentifizierung nie ins öffentliche Internet. Nutze dein lokales WLAN oder ein unterstütztes privates VPN wie Tailscale; öffentliche Adressen und DNS-Namen, die öffentliche und private Adressen mischen, werden abgelehnt.
Häufige Fragen zur App
Läuft das über einen Proxy von Oriveo?
Läuft das Modell auf dem Smartphone?
Welche Befehle und Ports braucht es?
Passende Beiträge
Aus dem Blog
Eigene Rechenleistung verbinden
Hol dir die native Oriveo-App für iOS oder Android oder öffne Oriveo im Browser und verbinde die Engine in deinem privaten Netzwerk.
Noch keinen API-Key? Starte einfach mit Oriveo Free.