llama. cpp · iPhone

llama. cpp บน iPhone: ไคลเอนต์เชื่อมต่อการประมวลผลในเครื่องโดยตรง

เชื่อมต่อ iPhone กับ llama. cpp ที่ทำงานบนคอมพิวเตอร์ของคุณ ตั้งค่าพอร์ต ไฟร์วอลล์ เครือข่ายส่วนตัว และ Oriveo โดยไม่เปิดเอนจินสู่อินเทอร์เน็ต

ใช้พลังประมวลผลที่คุณมีจากอีกอุปกรณ์โดยไม่ส่งข้อมูลรับรองผ่าน HTTP ภายใน
Oriveo เป็นไคลเอนต์ โดย llama. cpp ต้องทำงานบนคอมพิวเตอร์ โมเดลไม่ได้ทำงานบนโทรศัพท์
อย่าเปิดเอนจินที่ไม่มีการยืนยันตัวตนสู่อินเทอร์เน็ต ใช้ Wi-Fi ภายในหรือ VPN เช่น Tailscale; เป้าหมายสาธารณะหรือ DNS แบบผสมจะถูกปฏิเสธ

เตรียม llama. cpp

เริ่มเอนจินบนอินเทอร์เฟซส่วนตัว ตรวจสอบพอร์ตในเครื่อง แล้วอนุญาตเฉพาะ LAN หรือ VPN ส่วนตัว

ในผู้ให้บริการ เลือกการประมวลผลในเครื่อง เอนจิน และที่อยู่ส่วนตัว จากนั้นตรวจสอบโมเดลก่อนบันทึก

อย่าเปิดเอนจินที่ไม่มีการยืนยันตัวตนสู่อินเทอร์เน็ต ใช้ Wi-Fi ภายในหรือ VPN เช่น Tailscale; เป้าหมายสาธารณะหรือ DNS แบบผสมจะถูกปฏิเสธ

ไม่ต้อง แอป native เชื่อมต่อโดยตรง ส่วนเว็บใช้ Local Network Access และ CORS ของเบราว์เซอร์

ไม่ โมเดลทำงานบนคอมพิวเตอร์หรือเซิร์ฟเวอร์ โทรศัพท์เป็นไคลเอนต์

llama-server --host 0.0.0.0 --port 8080 --model /path/model. gguf · --chat-template /path/template. jinja · GET http://127.0.0.1:8080/health

ดาวน์โหลด Oriveo แบบ native หรือ desktop แล้วเชื่อมต่อเอนจินในเครือข่ายส่วนตัว

ยังไม่มี API key? เริ่มได้ด้วย Oriveo Free