vLLM z wielu urządzeń: połączenie z serwerem
Połącz wiele urządzeń z vLLM na własnym komputerze lub serwerze: skonfiguruj adres, zaporę, sieć prywatną i Oriveo, nie wystawiając silnika do internetu.
- Korzystaj z mocy własnego komputera z dowolnego urządzenia. Przez lokalny HTTP nie są przesyłane żadne dane uwierzytelniające API.
- Oriveo to tylko klient: vLLM musi działać na komputerze lub serwerze, a na telefonie model nie jest uruchamiany.
- Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.

Przygotuj vLLM
Uruchom silnik na prywatnym interfejsie sieciowym, sprawdź port na samym komputerze, a dopiero potem otwórz go wyłącznie dla sieci domowej lub prywatnej sieci VPN.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
Połącz każde urządzenie
W sekcji „Dostawcy” wybierz „Obliczenia lokalne”, wskaż swój silnik i podaj prywatny adres. Przed zapisaniem upewnij się, że wykryty model jest tym, o który ci chodzi.
Trzymaj adres z dala od internetu
Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.
Najczęstsze pytania
Czy potrzebny jest do tego serwer proxy Oriveo?
Czy model działa na telefonie?
Jakie polecenia i porty będą potrzebne?
Powiązane lektury
Połącz własny komputer
Zainstaluj Oriveo na iOS lub Androidzie albo otwórz je w przeglądarce, a potem połącz się z silnikiem w swojej prywatnej sieci.
Nie masz jeszcze klucza API? Zacznij od Oriveo Free.