vLLM · vários dispositivos

vLLM em vários dispositivos: conecte seu próprio computador

Conecte o Oriveo ao vLLM rodando no seu computador. Configure a escuta, o firewall e a rede privada sem expor o servidor à internet.

Atualizado em
  • Aproveite em outro dispositivo o computador que você já tem; pelo HTTP local nenhuma credencial de API é enviada.
  • O Oriveo é um cliente: o vLLM precisa rodar em um computador ou servidor. O modelo não roda no celular.
  • Nunca exponha à internet um servidor sem autenticação. Use o Wi-Fi local ou uma VPN privada compatível, como o Tailscale; endereços públicos e DNS que misturam endereços públicos e privados são recusados.
Oriveo no iPhone: a tela de provedores, com os provedores que você conectou e o gasto deste mês.

Preparar o vLLM

Inicie o servidor em uma interface privada, confirme a porta no próprio computador e libere-a só para a sua rede local ou a sua VPN privada.

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

Conectar por vários dispositivos

Em Provedores, escolha Computação local, selecione o servidor certo, digite o endereço privado e confira o modelo detectado antes de salvar.

Manter o endpoint dentro da rede privada

Nunca exponha à internet um servidor sem autenticação. Use o Wi-Fi local ou uma VPN privada compatível, como o Tailscale; endereços públicos e DNS que misturam endereços públicos e privados são recusados.

Dúvidas comuns sobre o app

É preciso passar por um proxy do Oriveo?
Não. Os apps nativos se conectam direto. O app web usa o acesso à rede local do navegador e CORS, e os servidores do Oriveo não fazem proxy para o seu endereço privado.
O modelo roda no celular?
Não. O modelo roda no seu computador ou servidor; o celular é só o cliente.
Quais comandos e portas são usados?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Leituras relacionadas

Seu LLM local fora de casa com Tailscalellama.cpp no iPhone: conecte seu próprio computadorLM Studio no celular: conecte seu próprio computador

Do nosso blog

O que é BYOK? Apps de IA com a sua própria chaveUsando os modelos gratuitos do OpenRouter num appUse a sua chave de API do Claude num app, sem código

Conecte seu próprio computador

Baixe o app nativo do Oriveo para iOS ou Android, ou abra o Oriveo no navegador, e conecte o servidor da sua rede privada.

Abrir o app webBaixe o Oriveo

Ainda não tem uma chave de API? Comece com o Oriveo Free.