Oriveo
vLLM · нескольких устройствах

vLLM на нескольких устройствах: прямой клиент локальных вычислений

Подключите нескольких устройствах к vLLM на своём компьютере. Настройте интерфейс, брандмауэр, частную сеть и Oriveo, не публикуя движок в интернете.

  • Используйте имеющиеся вычислительные ресурсы с другого устройства без передачи учётных данных по локальному HTTP.
  • Oriveo — клиент: vLLM должен работать на компьютере. Модель не запускается на телефоне.
  • Не публикуйте движок без аутентификации. Используйте локальный Wi-Fi или VPN вроде Tailscale; публичные и смешанные DNS-цели отклоняются.

Подготовка vLLM

Запустите движок на частном интерфейсе, проверьте порт локально и разрешите его только в LAN или частной VPN.

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

Подключение с нескольких устройствах

В разделе провайдеров выберите локальные вычисления, движок и частный адрес; проверьте найденную модель перед сохранением.

Сохраняйте endpoint частным

Не публикуйте движок без аутентификации. Используйте локальный Wi-Fi или VPN вроде Tailscale; публичные и смешанные DNS-цели отклоняются.

Часто задаваемые вопросы

Нужен ли серверный прокси Oriveo?

Нет. Нативные приложения подключаются напрямую; веб использует Local Network Access браузера и CORS.

Модель работает на телефоне?

Нет. Она работает на компьютере или сервере; телефон является клиентом.

Сохраняйте endpoint частным?

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Подключите свои вычисления

Скачайте нативное или настольное приложение Oriveo и подключите движок в частной сети.

Ещё нет API-ключа? Начните с Oriveo Free.

Открыть веб-приложениеУстановите Oriveo

Руководства

Local LLM · вне дома

Local LLM на вне дома: прямой клиент локальных вычислений

Подключите вне дома к Local LLM на своём компьютере. Настройте интерфейс, брандмауэр, частную сеть и Oriveo, не публикуя движок в интернете.

llama.cpp · iPhone

llama.cpp на iPhone: прямой клиент локальных вычислений

Подключите iPhone к llama.cpp на своём компьютере. Настройте интерфейс, брандмауэр, частную сеть и Oriveo, не публикуя движок в интернете.

LM Studio · мобильном устройстве

LM Studio на мобильном устройстве: прямой клиент локальных вычислений

Подключите мобильном устройстве к LM Studio на своём компьютере. Настройте интерфейс, брандмауэр, частную сеть и Oriveo, не публикуя движок в интернете.