vLLM · wiele urządzeń

vLLM z wielu urządzeń: połączenie z serwerem

Połącz wiele urządzeń z vLLM na własnym komputerze lub serwerze: skonfiguruj adres, zaporę, sieć prywatną i Oriveo, nie wystawiając silnika do internetu.

Zaktualizowano
  • Korzystaj z mocy własnego komputera z dowolnego urządzenia. Przez lokalny HTTP nie są przesyłane żadne dane uwierzytelniające API.
  • Oriveo to tylko klient: vLLM musi działać na komputerze lub serwerze, a na telefonie model nie jest uruchamiany.
  • Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.
Oriveo na iPhonie: ekran dostawców z listą podłączonych dostawców i wydatkami z tego miesiąca.

Przygotuj vLLM

Uruchom silnik na prywatnym interfejsie sieciowym, sprawdź port na samym komputerze, a dopiero potem otwórz go wyłącznie dla sieci domowej lub prywatnej sieci VPN.

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

Połącz każde urządzenie

W sekcji „Dostawcy” wybierz „Obliczenia lokalne”, wskaż swój silnik i podaj prywatny adres. Przed zapisaniem upewnij się, że wykryty model jest tym, o który ci chodzi.

Trzymaj adres z dala od internetu

Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.

Najczęstsze pytania

Czy potrzebny jest do tego serwer proxy Oriveo?
Nie. Aplikacje natywne łączą się bezpośrednio. Wersja webowa korzysta z dostępu przeglądarki do sieci lokalnej (Local Network Access) i CORS, więc prywatny adres nie przechodzi przez serwery Oriveo.
Czy model działa na telefonie?
Nie. Model działa na twoim komputerze lub serwerze, a telefon jest tylko klientem.
Jakie polecenia i porty będą potrzebne?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Powiązane lektury

Połącz własny komputer

Zainstaluj Oriveo na iOS lub Androidzie albo otwórz je w przeglądarce, a potem połącz się z silnikiem w swojej prywatnej sieci.

Nie masz jeszcze klucza API? Zacznij od Oriveo Free.