Локальная LLM · Tailscale

Локальная LLM вне дома: подключение через Tailscale

Пользуйтесь с телефона LLM-сервером на домашнем компьютере, когда вас нет дома: через Tailscale или другой частный VPN, не открывая движок в интернет.

Обновлено
  • Пользуйтесь мощностью своего компьютера с любого устройства. По локальному HTTP никакие API-ключи не передаются.
  • Oriveo — только клиент: локальная LLM должна работать на вашем компьютере или сервере, а на телефоне модель не запускается.
  • Не открывайте в интернет движок без аутентификации. Подключайтесь по домашнему или рабочему Wi-Fi либо через частный VPN, например Tailscale. Публичные адреса, а также адреса, у которых DNS указывает и на публичные, и на частные IP, приложение отклоняет.
Oriveo на iPhone: экран провайдеров со списком подключённых вами провайдеров и расходами за месяц.

Подготовьте сервер локальной LLM

Запустите движок на частном сетевом интерфейсе, проверьте порт на самом компьютере, а потом откройте его только для домашней сети или частного VPN.

  • tailscale ip -4
  • 100.64.0.0/10 · fd7a:115c:a1e0::/48
  • Oriveo → Private VPN

Подключитесь не из домашней сети

В разделе «Провайдеры» выберите «Локальные вычисления», укажите свой движок и частный адрес. Прежде чем сохранять, убедитесь, что найденная модель та, которая нужна.

Держите адрес закрытым от интернета

Не открывайте в интернет движок без аутентификации. Подключайтесь по домашнему или рабочему Wi-Fi либо через частный VPN, например Tailscale. Публичные адреса, а также адреса, у которых DNS указывает и на публичные, и на частные IP, приложение отклоняет.

Частые вопросы о приложении

Нужен ли для этого прокси-сервер Oriveo?
Нет. Нативные приложения подключаются напрямую. Веб-версия обращается к вашему адресу через доступ браузера к локальной сети (Local Network Access) и CORS, поэтому частный адрес через серверы Oriveo не проходит.
Модель запускается на телефоне?
Нет. Модель работает на вашем компьютере или сервере, а телефон служит только клиентом.
Какие команды и порты понадобятся?
tailscale ip -4 · 100.64.0.0/10 · fd7a:115c:a1e0::/48 · Oriveo → Private VPN

Читайте также

Из блога

Подключите свой компьютер

Установите Oriveo на iOS или Android либо откройте его в браузере, а затем подключитесь к движку в своей частной сети.

Ещё нет API-ключа? Начните с Oriveo Free.