LLM ในเครื่อง · Tailscale

ใช้ LLM ในเครื่องขณะอยู่นอกบ้านผ่าน Tailscale

ใช้มือถือเข้าถึงเซิร์ฟเวอร์ LLM บนคอมพิวเตอร์ที่บ้านขณะอยู่ข้างนอก ผ่าน Tailscale หรือ VPN ส่วนตัวอื่น โดยไม่ต้องเปิดเอนจินสู่อินเทอร์เน็ตสาธารณะ

อัปเดต
  • ใช้คอมพิวเตอร์ที่คุณมีอยู่แล้วจากอุปกรณ์อื่น โดยไม่ต้องส่ง API key ผ่าน HTTP ในเครือข่ายภายใน
  • Oriveo เป็นแอปสำหรับเชื่อมต่อ ส่วนเซิร์ฟเวอร์ LLM ในเครื่องต้องรันอยู่บนคอมพิวเตอร์หรือเซิร์ฟเวอร์ของคุณ โมเดลไม่ได้ทำงานบนโทรศัพท์
  • อย่าเปิดเอนจินที่ไม่มีการยืนยันตัวตนสู่อินเทอร์เน็ต ให้ใช้ Wi-Fi ที่บ้านหรือที่ทำงาน หรือ VPN ส่วนตัวอย่าง Tailscale ที่อยู่สาธารณะ และชื่อโดเมนที่ชี้ทั้งที่อยู่สาธารณะและที่อยู่ส่วนตัว จะถูกปฏิเสธ
Oriveo บน iPhone: หน้าผู้ให้บริการ แสดงผู้ให้บริการที่คุณเชื่อมต่อไว้และยอดใช้จ่ายเดือนนี้

เตรียมเซิร์ฟเวอร์ LLM ในเครื่อง

เริ่มเอนจินบนอินเทอร์เฟซเครือข่ายส่วนตัว ตรวจพอร์ตจากเครื่องนั้นเอง แล้วเปิดให้เข้าถึงได้เฉพาะจาก LAN หรือ VPN ส่วนตัว

  • tailscale ip -4
  • 100.64.0.0/10 · fd7a:115c:a1e0::/48
  • Oriveo → Private VPN

เชื่อมต่อจากนอกเครือข่ายบ้าน

ในหน้าผู้ให้บริการ เลือกการประมวลผลในเครื่อง เลือกเอนจินและใส่ที่อยู่ส่วนตัว แล้วตรวจรายชื่อโมเดลที่พบก่อนบันทึก

เก็บ endpoint ไว้ในเครือข่ายส่วนตัว

อย่าเปิดเอนจินที่ไม่มีการยืนยันตัวตนสู่อินเทอร์เน็ต ให้ใช้ Wi-Fi ที่บ้านหรือที่ทำงาน หรือ VPN ส่วนตัวอย่าง Tailscale ที่อยู่สาธารณะ และชื่อโดเมนที่ชี้ทั้งที่อยู่สาธารณะและที่อยู่ส่วนตัว จะถูกปฏิเสธ

คำถามที่พบบ่อยเกี่ยวกับแอป

ต้องใช้พร็อกซีเซิร์ฟเวอร์ของ Oriveo ไหม
ไม่ต้อง แอปเนทีฟเชื่อมต่อโดยตรง ส่วนเว็บใช้การเข้าถึงเครือข่ายภายใน (Local Network Access) และ CORS ของเบราว์เซอร์
โมเดลทำงานบนโทรศัพท์ไหม
ไม่ โมเดลทำงานบนคอมพิวเตอร์หรือเซิร์ฟเวอร์ของคุณ โทรศัพท์ทำหน้าที่เป็นหน้าแชตเท่านั้น
ต้องใช้คำสั่งและพอร์ตอะไรบ้าง
tailscale ip -4 · 100.64.0.0/10 · fd7a:115c:a1e0::/48 · Oriveo → Private VPN

อ่านต่อ

จากบล็อก

เชื่อมต่อเครื่องของคุณเอง

ดาวน์โหลดแอปเนทีฟ Oriveo บน iOS หรือ Android หรือเปิด Oriveo ในเบราว์เซอร์ แล้วเชื่อมต่อเอนจินในเครือข่ายส่วนตัวของคุณ

ยังไม่มี API key? เริ่มได้ด้วย Oriveo Free