vLLM · कई डिवाइस

कई डिवाइस पर vLLM: सीधे लोकल कंप्यूट क्लाइंट

कई डिवाइस को अपने कंप्यूटर पर चल रहे vLLM से जोड़ें। इंजन को इंटरनेट पर खोले बिना listener, firewall, निजी नेटवर्क और Oriveo सेट करें।

अपनी मौजूदा कंप्यूट क्षमता दूसरे डिवाइस से इस्तेमाल करें और लोकल HTTP पर क्रेडेंशियल न भेजें।
Oriveo एक क्लाइंट है: vLLM कंप्यूटर पर चलना चाहिए। मॉडल फोन पर नहीं चलता।
बिना प्रमाणीकरण वाला इंजन इंटरनेट पर न खोलें। लोकल Wi-Fi या Tailscale जैसी समर्थित VPN इस्तेमाल करें; सार्वजनिक या मिश्रित DNS लक्ष्य अस्वीकृत हैं।

vLLM तैयार करें

इंजन को निजी इंटरफ़ेस पर शुरू करें, पोर्ट लोकल रूप से जाँचें और केवल LAN या निजी VPN पर अनुमति दें।

Providers में Local compute चुनें, सही इंजन और निजी पता दें और सेव करने से पहले मिले मॉडल की जाँच करें।

बिना प्रमाणीकरण वाला इंजन इंटरनेट पर न खोलें। लोकल Wi-Fi या Tailscale जैसी समर्थित VPN इस्तेमाल करें; सार्वजनिक या मिश्रित DNS लक्ष्य अस्वीकृत हैं।

नहीं। नेटिव ऐप सीधे जुड़ते हैं; वेब ब्राउज़र Local Network Access और CORS इस्तेमाल करता है।

नहीं। मॉडल कंप्यूटर या सर्वर पर चलता है; फोन क्लाइंट है।

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Oriveo नेटिव ऐप या डेस्कटॉप डाउनलोड लेकर निजी नेटवर्क के इंजन से जुड़ें।

अभी API key नहीं है? Oriveo Free से शुरुआत करें।