Dùng vLLM từ nhiều thiết bị: kết nối thẳng tới máy tính của bạn
Kết nối nhiều thiết bị với vLLM đang chạy trên máy tính của bạn. Cách mở địa chỉ nghe, chỉnh tường lửa, dùng mạng riêng và cài Oriveo, không cần đưa engine ra Internet.
- Tận dụng máy tính bạn đang có từ một thiết bị khác. Khi kết nối qua HTTP trong mạng nội bộ, không có thông tin xác thực API nào được gửi đi.
- Oriveo chỉ là app để kết nối: vLLM phải chạy trên máy tính của bạn, mô hình không chạy trên điện thoại.
- Đừng bao giờ đưa engine không có xác thực ra Internet. Hãy dùng Wi-Fi nhà hoặc VPN như Tailscale; địa chỉ công khai, hay tên miền phân giải ra cả địa chỉ công khai lẫn riêng, đều bị từ chối.
Chuẩn bị vLLM
Chạy engine trên địa chỉ của mạng riêng, thử cổng ngay trên chính máy đó, rồi chỉ mở cổng đó cho mạng LAN hoặc VPN riêng của bạn.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
Kết nối từ các thiết bị của bạn
Trong mục Nhà cung cấp, chọn Điện toán cục bộ, chọn đúng engine, nhập địa chỉ riêng và kiểm tra mô hình tìm thấy trước khi lưu.
Giữ endpoint trong mạng riêng
Đừng bao giờ đưa engine không có xác thực ra Internet. Hãy dùng Wi-Fi nhà hoặc VPN như Tailscale; địa chỉ công khai, hay tên miền phân giải ra cả địa chỉ công khai lẫn riêng, đều bị từ chối.
Câu hỏi thường gặp
Có cần qua máy chủ proxy của Oriveo không?
Mô hình có chạy trên điện thoại không?
Cần dùng những lệnh và cổng nào?
Bài liên quan
Từ blog
Kết nối máy tính của bạn
Tải app Oriveo cho iOS hoặc Android, hoặc mở Oriveo trong trình duyệt, rồi kết nối engine trong mạng riêng của bạn.
Chưa có API key? Hãy bắt đầu với Oriveo Free.