Lokalny LLM · Tailscale

Lokalny LLM poza domem: połączenie przez Tailscale

Korzystaj z telefonu z serwera LLM na domowym komputerze, gdy jesteś poza domem: przez Tailscale lub inną prywatną sieć VPN, nie wystawiając silnika do internetu.

Zaktualizowano
  • Korzystaj z mocy własnego komputera z dowolnego urządzenia. Przez lokalny HTTP nie są przesyłane żadne dane uwierzytelniające API.
  • Oriveo to tylko klient: lokalny LLM musi działać na twoim komputerze lub serwerze, a na telefonie model nie jest uruchamiany.
  • Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.
Oriveo na iPhonie: ekran dostawców z listą podłączonych dostawców i wydatkami z tego miesiąca.

Przygotuj serwer lokalnego LLM

Uruchom silnik na prywatnym interfejsie sieciowym, sprawdź port na samym komputerze, a dopiero potem otwórz go wyłącznie dla sieci domowej lub prywatnej sieci VPN.

  • tailscale ip -4
  • 100.64.0.0/10 · fd7a:115c:a1e0::/48
  • Oriveo → Private VPN

Połącz się spoza sieci domowej

W sekcji „Dostawcy” wybierz „Obliczenia lokalne”, wskaż swój silnik i podaj prywatny adres. Przed zapisaniem upewnij się, że wykryty model jest tym, o który ci chodzi.

Trzymaj adres z dala od internetu

Nigdy nie wystawiaj silnika bez uwierzytelniania do internetu. Łącz się przez domowe lub firmowe Wi-Fi albo prywatną sieć VPN, na przykład Tailscale. Aplikacja odrzuca adresy publiczne oraz adresy, których DNS wskazuje jednocześnie na publiczne i prywatne IP.

Najczęstsze pytania

Czy potrzebny jest do tego serwer proxy Oriveo?
Nie. Aplikacje natywne łączą się bezpośrednio. Wersja webowa korzysta z dostępu przeglądarki do sieci lokalnej (Local Network Access) i CORS, więc prywatny adres nie przechodzi przez serwery Oriveo.
Czy model działa na telefonie?
Nie. Model działa na twoim komputerze lub serwerze, a telefon jest tylko klientem.
Jakie polecenia i porty będą potrzebne?
tailscale ip -4 · 100.64.0.0/10 · fd7a:115c:a1e0::/48 · Oriveo → Private VPN

Powiązane lektury

Połącz własny komputer

Zainstaluj Oriveo na iOS lub Androidzie albo otwórz je w przeglądarce, a potem połącz się z silnikiem w swojej prywatnej sieci.

Nie masz jeszcze klucza API? Zacznij od Oriveo Free.