vLLM с нескольких устройств: подключение к серверу
Подключите несколько устройств к vLLM на своём компьютере или сервере: настройте адрес, брандмауэр, частную сеть и Oriveo, не открывая движок в интернет.
- Пользуйтесь мощностью своего компьютера с любого устройства. По локальному HTTP никакие API-ключи не передаются.
- Oriveo — только клиент: vLLM должен работать на компьютере или сервере, а на телефоне модель не запускается.
- Не открывайте в интернет движок без аутентификации. Подключайтесь по домашнему или рабочему Wi-Fi либо через частный VPN, например Tailscale. Публичные адреса, а также адреса, у которых DNS указывает и на публичные, и на частные IP, приложение отклоняет.
Подготовьте vLLM
Запустите движок на частном сетевом интерфейсе, проверьте порт на самом компьютере, а потом откройте его только для домашней сети или частного VPN.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
Подключите каждое устройство
В разделе «Провайдеры» выберите «Локальные вычисления», укажите свой движок и частный адрес. Прежде чем сохранять, убедитесь, что найденная модель та, которая нужна.
Держите адрес закрытым от интернета
Не открывайте в интернет движок без аутентификации. Подключайтесь по домашнему или рабочему Wi-Fi либо через частный VPN, например Tailscale. Публичные адреса, а также адреса, у которых DNS указывает и на публичные, и на частные IP, приложение отклоняет.
Частые вопросы о приложении
Нужен ли для этого прокси-сервер Oriveo?
Модель запускается на телефоне?
Какие команды и порты понадобятся?
Читайте также
Из блога
Подключите свой компьютер
Установите Oriveo на iOS или Android либо откройте его в браузере, а затем подключитесь к движку в своей частной сети.
Ещё нет API-ключа? Начните с Oriveo Free.