vLLM · più dispositivi

vLLM da più dispositivi: collegati al server

Collega più dispositivi a vLLM sul tuo computer o server: configura indirizzo, firewall, rete privata e Oriveo senza esporre il motore su internet.

Aggiornato il
  • Sfrutta la potenza del tuo computer da qualsiasi dispositivo. Nessuna chiave API viene inviata via HTTP locale.
  • Oriveo è solo un client: vLLM deve girare sul computer o sul server, mentre sul telefono non viene eseguito alcun modello.
  • Non esporre su internet un motore privo di autenticazione. Collegati dalla rete Wi-Fi di casa o del lavoro, oppure tramite una VPN privata come Tailscale. L’app rifiuta gli indirizzi pubblici e quelli il cui DNS punta sia a IP pubblici sia a IP privati.
Oriveo su iPhone: la schermata dei fornitori, con i fornitori che hai collegato e la spesa del mese.

Prepara vLLM

Avvia il motore su un’interfaccia di rete privata, verifica la porta sul computer stesso e aprila solo alla rete di casa o a una VPN privata.

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

Collega ogni dispositivo

Nella sezione «Fornitori» scegli «Calcolo locale», indica il tuo motore e l’indirizzo privato. Prima di salvare, controlla che il modello trovato sia quello che ti serve.

Tieni l’indirizzo lontano da internet

Non esporre su internet un motore privo di autenticazione. Collegati dalla rete Wi-Fi di casa o del lavoro, oppure tramite una VPN privata come Tailscale. L’app rifiuta gli indirizzi pubblici e quelli il cui DNS punta sia a IP pubblici sia a IP privati.

Domande frequenti

Serve il proxy di Oriveo?
No. Le app native si collegano direttamente. La versione web raggiunge il tuo indirizzo tramite l’accesso del browser alla rete locale (Local Network Access) e CORS, quindi l’indirizzo privato non passa dai server di Oriveo.
Il modello gira sul telefono?
No. Il modello gira sul tuo computer o server e il telefono fa solo da client.
Quali comandi e porte mi servono?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Letture correlate

Collega il tuo computer

Installa Oriveo su iOS o Android, oppure aprilo nel browser, e collegati al motore nella tua rete privata.

Non hai ancora una chiave API? Con Oriveo Free puoi iniziare senza.