Локальна LLM · Tailscale

Локальна LLM поза домом: підключення через Tailscale

Користуйтеся з телефона LLM-сервером на домашньому комп’ютері, коли вас немає вдома: через Tailscale чи іншу приватну VPN, не відкриваючи рушій для інтернету.

Оновлено
  • Користуйтеся потужністю власного комп’ютера з будь-якого пристрою. Через локальний HTTP жодні облікові дані API не надсилаються.
  • Oriveo — лише клієнт: локальна LLM має працювати на вашому комп’ютері чи сервері, а на телефоні модель не запускається.
  • Не відкривайте для інтернету рушій без автентифікації. Підключайтеся через домашній чи робочий Wi-Fi або через приватну VPN, наприклад Tailscale. Публічні адреси, а також адреси, чий DNS вказує і на публічні, і на приватні IP, застосунок відхиляє.
Oriveo на iPhone: екран постачальників зі списком підключених вами постачальників і витратами за цей місяць.

Підготуйте сервер локальної LLM

Запустіть рушій на приватному мережевому інтерфейсі, перевірте порт на самому комп’ютері, а потім відкрийте його лише для домашньої мережі або приватної VPN.

  • tailscale ip -4
  • 100.64.0.0/10 · fd7a:115c:a1e0::/48
  • Oriveo → Private VPN

Підключіться не з домашньої мережі

У розділі «Постачальники» виберіть «Локальні обчислення», вкажіть свій рушій і приватну адресу. Перш ніж зберегти, переконайтеся, що знайдена модель саме та, яка вам потрібна.

Тримайте адресу закритою від інтернету

Не відкривайте для інтернету рушій без автентифікації. Підключайтеся через домашній чи робочий Wi-Fi або через приватну VPN, наприклад Tailscale. Публічні адреси, а також адреси, чий DNS вказує і на публічні, і на приватні IP, застосунок відхиляє.

Поширені запитання

Чи потрібен для цього проксі-сервер Oriveo?
Ні. Нативні застосунки підключаються напряму. Вебверсія звертається до вашої адреси через доступ браузера до локальної мережі (Local Network Access) і CORS, тож приватна адреса не проходить через сервери Oriveo.
Модель працює на телефоні?
Ні. Модель працює на вашому комп’ютері чи сервері, а телефон лише виступає клієнтом.
Які команди й порти знадобляться?
tailscale ip -4 · 100.64.0.0/10 · fd7a:115c:a1e0::/48 · Oriveo → Private VPN

Читайте також

Підключіть власний комп’ютер

Установіть Oriveo на iOS чи Android або відкрийте його в браузері, а тоді підключіться до рушія у своїй приватній мережі.

Ще немає ключа API? Почніть з Oriveo Free — ключ не потрібен.