कई डिवाइस से vLLM तक: अपने कंप्यूटर से सीधा कनेक्शन
अपने कंप्यूटर पर चल रहे vLLM से कई डिवाइस को सीधे जोड़ें। लिसनर, फ़ायरवॉल, निजी नेटवर्क और Oriveo की सेटिंग कैसे करें, वह भी इंजन को इंटरनेट पर खोले बिना।
- आपके कंप्यूटर की जो ताक़त पहले से है, उसे दूसरे डिवाइस से इस्तेमाल करें; लोकल HTTP पर कोई API key नहीं भेजी जाती।
- Oriveo सिर्फ़ क्लाइंट है: vLLM आपके कंप्यूटर पर चलता है, मॉडल फ़ोन पर नहीं चलता।
- बिना ऑथेंटिकेशन वाला इंजन कभी सार्वजनिक इंटरनेट पर न खोलें। घर या दफ़्तर का Wi-Fi, या Tailscale जैसा कोई निजी VPN इस्तेमाल करें; सार्वजनिक पते और सार्वजनिक-निजी मिले-जुले DNS वाले डोमेन अस्वीकार कर दिए जाते हैं।
vLLM तैयार करें
इंजन को निजी नेटवर्क इंटरफ़ेस पर चालू करें, कंप्यूटर पर ही पोर्ट जाँचें, फिर उस पोर्ट को सिर्फ़ लोकल नेटवर्क या निजी VPN के लिए खोलें।
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
कई डिवाइस से कनेक्ट करें
Providers में “लोकल कंप्यूट” चुनें, सही इंजन और निजी पता डालें, और सेव करने से पहले मिला हुआ मॉडल जाँच लें।
इंटरनेट पर खुला न छोड़ें
बिना ऑथेंटिकेशन वाला इंजन कभी सार्वजनिक इंटरनेट पर न खोलें। घर या दफ़्तर का Wi-Fi, या Tailscale जैसा कोई निजी VPN इस्तेमाल करें; सार्वजनिक पते और सार्वजनिक-निजी मिले-जुले DNS वाले डोमेन अस्वीकार कर दिए जाते हैं।
ऐप से जुड़े आम सवाल
क्या रिक्वेस्ट का Oriveo के सर्वर से होकर जाना ज़रूरी है?
क्या मॉडल फ़ोन पर चलता है?
कौन-से कमांड और पोर्ट लगेंगे?
इनसे जुड़े आर्टिकल
ब्लॉग से
अपना कंप्यूटर कनेक्ट करें
iOS या Android पर Oriveo इंस्टॉल करें, या ब्राउज़र में Oriveo खोलें, फिर अपने निजी नेटवर्क के इंजन से जुड़ें।
अभी API key नहीं है? Oriveo Free से बिना key के शुरू करें।