vLLM · nhiều thiết bị

vLLM trên nhiều thiết bị: ứng dụng kết nối trực tiếp điện toán cục bộ

Kết nối nhiều thiết bị với vLLM chạy trên máy tính của bạn. Cấu hình cổng nghe, tường lửa, mạng riêng và Oriveo mà không đưa engine ra Internet.

Dùng tài nguyên tính toán bạn đã có từ thiết bị khác mà không gửi thông tin đăng nhập qua HTTP cục bộ.
Oriveo là ứng dụng khách: vLLM phải chạy trên máy tính. Mô hình không chạy trên điện thoại.
Không đưa engine không xác thực ra Internet. Dùng Wi-Fi cục bộ hoặc VPN như Tailscale; mục tiêu công khai hay DNS hỗn hợp sẽ bị từ chối.

Chuẩn bị vLLM

Khởi động engine trên giao diện riêng, kiểm tra cổng tại máy chủ rồi chỉ cho phép cổng đó trong LAN hoặc VPN riêng.

Trong Nhà cung cấp, chọn Điện toán cục bộ, engine và địa chỉ riêng; kiểm tra mô hình tìm được trước khi lưu.

Không đưa engine không xác thực ra Internet. Dùng Wi-Fi cục bộ hoặc VPN như Tailscale; mục tiêu công khai hay DNS hỗn hợp sẽ bị từ chối.

Không. Ứng dụng native kết nối trực tiếp; bản web dùng Local Network Access của trình duyệt và CORS.

Không. Mô hình chạy trên máy tính hoặc máy chủ; điện thoại là ứng dụng khách.

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

Tải Oriveo native hoặc desktop và kết nối engine trong mạng riêng.

Chưa có API key? Hãy bắt đầu với Oriveo Free.