vLLM · หลายอุปกรณ์

vLLM บน หลายอุปกรณ์: ไคลเอนต์เชื่อมต่อการประมวลผลในเครื่องโดยตรง

เชื่อมต่อ หลายอุปกรณ์ กับ vLLM ที่ทำงานบนคอมพิวเตอร์ของคุณ ตั้งค่าพอร์ต ไฟร์วอลล์ เครือข่ายส่วนตัว และ Oriveo โดยไม่เปิดเอนจินสู่อินเทอร์เน็ต

ใช้พลังประมวลผลที่คุณมีจากอีกอุปกรณ์โดยไม่ส่งข้อมูลรับรองผ่าน HTTP ภายใน
Oriveo เป็นไคลเอนต์ โดย vLLM ต้องทำงานบนคอมพิวเตอร์ โมเดลไม่ได้ทำงานบนโทรศัพท์
อย่าเปิดเอนจินที่ไม่มีการยืนยันตัวตนสู่อินเทอร์เน็ต ใช้ Wi-Fi ภายในหรือ VPN เช่น Tailscale; เป้าหมายสาธารณะหรือ DNS แบบผสมจะถูกปฏิเสธ

เตรียม vLLM

เริ่มเอนจินบนอินเทอร์เฟซส่วนตัว ตรวจสอบพอร์ตในเครื่อง แล้วอนุญาตเฉพาะ LAN หรือ VPN ส่วนตัว

ในผู้ให้บริการ เลือกการประมวลผลในเครื่อง เอนจิน และที่อยู่ส่วนตัว จากนั้นตรวจสอบโมเดลก่อนบันทึก

อย่าเปิดเอนจินที่ไม่มีการยืนยันตัวตนสู่อินเทอร์เน็ต ใช้ Wi-Fi ภายในหรือ VPN เช่น Tailscale; เป้าหมายสาธารณะหรือ DNS แบบผสมจะถูกปฏิเสธ

ไม่ต้อง แอป native เชื่อมต่อโดยตรง ส่วนเว็บใช้ Local Network Access และ CORS ของเบราว์เซอร์

ไม่ โมเดลทำงานบนคอมพิวเตอร์หรือเซิร์ฟเวอร์ โทรศัพท์เป็นไคลเอนต์

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

ดาวน์โหลด Oriveo แบบ native หรือ desktop แล้วเชื่อมต่อเอนจินในเครือข่ายส่วนตัว

ยังไม่มี API key? เริ่มได้ด้วย Oriveo Free