vLLM için çok cihazlı istemci: sunucunuza doğrudan bağlanın
Bilgisayarınızda veya sunucunuzda çalışan vLLM’e birden çok cihazdan bağlanın. Motoru internete açmadan dinleme adresini, güvenlik duvarını ve Oriveo’yu ayarlayın.
- Sahip olduğunuz işlem gücünü başka bir cihazdan kullanın; yerel HTTP üzerinden API anahtarı gönderilmez.
- Oriveo yalnızca bir istemcidir: vLLM bir bilgisayarda çalışır, model telefonda çalışmaz.
- Kimlik doğrulaması olmayan bir motoru asla internete açmayın. Evdeki veya iş yerindeki Wi-Fi ağını ya da Tailscale gibi desteklenen bir özel VPN’i kullanın; genel adresler ve hem genel hem özel kayıt döndüren DNS hedefleri reddedilir.
vLLM sunucusunu hazırlayın
Motoru özel bir ağ arabiriminde başlatın, bağlantı noktasını önce bilgisayarın kendisinde doğrulayın, sonra yalnızca yerel ağa veya özel VPN’e açın.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
Her cihazdan bağlanın
Sağlayıcılar bölümünde Yerel işlem gücü seçeneğini açın, uygun motoru seçip özel adresi girin ve kaydetmeden önce bulunan modeli kontrol edin.
Uç noktayı internete açmayın
Kimlik doğrulaması olmayan bir motoru asla internete açmayın. Evdeki veya iş yerindeki Wi-Fi ağını ya da Tailscale gibi desteklenen bir özel VPN’i kullanın; genel adresler ve hem genel hem özel kayıt döndüren DNS hedefleri reddedilir.
Uygulamayla ilgili sık sorulan sorular
Oriveo sunucusu üzerinden proxy gerekir mi?
Model telefonda mı çalışıyor?
Hangi komutlar ve bağlantı noktaları gerekiyor?
İlgili yazılar
Blogdan
Kendi işlem gücünüze bağlanın
Oriveo’yu iOS veya Android’e yükleyin ya da tarayıcıda açın, ardından özel ağınızdaki motora bağlanın.
Henüz API anahtarınız yok mu? Oriveo Free ile başlayın.