llama.cpp на iPhone: подключение к компьютеру
Подключите iPhone к llama.cpp на своём компьютере: настройте адрес, брандмауэр, частную сеть и Oriveo, не открывая движок в интернет.
- Пользуйтесь мощностью своего компьютера с любого устройства. По локальному HTTP никакие API-ключи не передаются.
- Oriveo — только клиент: llama.cpp должен работать на компьютере, а на самом телефоне модель не запускается.
- Не открывайте в интернет движок без аутентификации. Подключайтесь по домашнему или рабочему Wi-Fi либо через частный VPN, например Tailscale. Публичные адреса, а также адреса, у которых DNS указывает и на публичные, и на частные IP, приложение отклоняет.
Подготовьте llama.cpp
Запустите движок на частном сетевом интерфейсе, проверьте порт на самом компьютере, а потом откройте его только для домашней сети или частного VPN.
- llama-server --host 0.0.0.0 --port 8080 --model /path/model.gguf
- --chat-template /path/template.jinja
- GET http://127.0.0.1:8080/health
Подключитесь с iPhone
В разделе «Провайдеры» выберите «Локальные вычисления», укажите свой движок и частный адрес. Прежде чем сохранять, убедитесь, что найденная модель та, которая нужна.
Держите адрес закрытым от интернета
Не открывайте в интернет движок без аутентификации. Подключайтесь по домашнему или рабочему Wi-Fi либо через частный VPN, например Tailscale. Публичные адреса, а также адреса, у которых DNS указывает и на публичные, и на частные IP, приложение отклоняет.
Частые вопросы о приложении
Нужен ли для этого прокси-сервер Oriveo?
Модель запускается на телефоне?
Какие команды и порты понадобятся?
Читайте также
Из блога
Подключите свой компьютер
Установите Oriveo на iOS или Android либо откройте его в браузере, а затем подключитесь к движку в своей частной сети.
Ещё нет API-ключа? Начните с Oriveo Free.