llama. cpp · iPhone

iPhone पर llama. cpp: सीधे लोकल कंप्यूट क्लाइंट

iPhone को अपने कंप्यूटर पर चल रहे llama. cpp से जोड़ें। इंजन को इंटरनेट पर खोले बिना listener, firewall, निजी नेटवर्क और Oriveo सेट करें।

अपनी मौजूदा कंप्यूट क्षमता दूसरे डिवाइस से इस्तेमाल करें और लोकल HTTP पर क्रेडेंशियल न भेजें।
Oriveo एक क्लाइंट है: llama. cpp कंप्यूटर पर चलना चाहिए। मॉडल फोन पर नहीं चलता।
बिना प्रमाणीकरण वाला इंजन इंटरनेट पर न खोलें। लोकल Wi-Fi या Tailscale जैसी समर्थित VPN इस्तेमाल करें; सार्वजनिक या मिश्रित DNS लक्ष्य अस्वीकृत हैं।

llama. cpp तैयार करें

इंजन को निजी इंटरफ़ेस पर शुरू करें, पोर्ट लोकल रूप से जाँचें और केवल LAN या निजी VPN पर अनुमति दें।

Providers में Local compute चुनें, सही इंजन और निजी पता दें और सेव करने से पहले मिले मॉडल की जाँच करें।

बिना प्रमाणीकरण वाला इंजन इंटरनेट पर न खोलें। लोकल Wi-Fi या Tailscale जैसी समर्थित VPN इस्तेमाल करें; सार्वजनिक या मिश्रित DNS लक्ष्य अस्वीकृत हैं।

नहीं। नेटिव ऐप सीधे जुड़ते हैं; वेब ब्राउज़र Local Network Access और CORS इस्तेमाल करता है।

नहीं। मॉडल कंप्यूटर या सर्वर पर चलता है; फोन क्लाइंट है।

llama-server --host 0.0.0.0 --port 8080 --model /path/model. gguf · --chat-template /path/template. jinja · GET http://127.0.0.1:8080/health

Oriveo नेटिव ऐप या डेस्कटॉप डाउनलोड लेकर निजी नेटवर्क के इंजन से जुड़ें।

अभी API key नहीं है? Oriveo Free से शुरुआत करें।