vLLM · кілька пристроїв

vLLM з кількох пристроїв: підключення до сервера

Підключіть кілька пристроїв до vLLM на власному комп’ютері чи сервері: налаштуйте адресу, брандмауер, приватну мережу й Oriveo, не відкриваючи рушій для інтернету.

Оновлено
  • Користуйтеся потужністю власного комп’ютера з будь-якого пристрою. Через локальний HTTP жодні облікові дані API не надсилаються.
  • Oriveo — лише клієнт: vLLM має працювати на комп’ютері чи сервері, а на телефоні модель не запускається.
  • Не відкривайте для інтернету рушій без автентифікації. Підключайтеся через домашній чи робочий Wi-Fi або через приватну VPN, наприклад Tailscale. Публічні адреси, а також адреси, чий DNS вказує і на публічні, і на приватні IP, застосунок відхиляє.
Oriveo на iPhone: екран постачальників зі списком підключених вами постачальників і витратами за цей місяць.

Підготуйте vLLM

Запустіть рушій на приватному мережевому інтерфейсі, перевірте порт на самому комп’ютері, а потім відкрийте його лише для домашньої мережі або приватної VPN.

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

Підключіть кожен пристрій

У розділі «Постачальники» виберіть «Локальні обчислення», вкажіть свій рушій і приватну адресу. Перш ніж зберегти, переконайтеся, що знайдена модель саме та, яка вам потрібна.

Тримайте адресу закритою від інтернету

Не відкривайте для інтернету рушій без автентифікації. Підключайтеся через домашній чи робочий Wi-Fi або через приватну VPN, наприклад Tailscale. Публічні адреси, а також адреси, чий DNS вказує і на публічні, і на приватні IP, застосунок відхиляє.

Поширені запитання

Чи потрібен для цього проксі-сервер Oriveo?
Ні. Нативні застосунки підключаються напряму. Вебверсія звертається до вашої адреси через доступ браузера до локальної мережі (Local Network Access) і CORS, тож приватна адреса не проходить через сервери Oriveo.
Модель працює на телефоні?
Ні. Модель працює на вашому комп’ютері чи сервері, а телефон лише виступає клієнтом.
Які команди й порти знадобляться?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Читайте також

Підключіть власний комп’ютер

Установіть Oriveo на iOS чи Android або відкрийте його в браузері, а тоді підключіться до рушія у своїй приватній мережі.

Ще немає ключа API? Почніть з Oriveo Free — ключ не потрібен.