vLLM روی چند دستگاه: اتصال مستقیم به سرور خودتان
چند دستگاه را به vLLM روی رایانه یا سرور خودتان وصل کنید: شنونده، فایروال، شبکهی خصوصی و Oriveo را بدون قرار دادن موتور در معرض اینترنت تنظیم کنید.
- از توان محاسباتی که از پیش دارید روی دستگاه دیگری استفاده کنید. روی HTTP محلی هیچ اعتبارنامهی API ارسال نمیشود.
- Oriveo فقط کلاینت است: vLLM باید روی یک رایانه یا سرور اجرا شود و مدل روی گوشی اجرا نمیشود.
- هرگز موتور بدون احراز هویت را در معرض اینترنت قرار ندهید. از وایفای خانه یا محل کار یا یک VPN خصوصی مانند Tailscale استفاده کنید. برنامه نشانیهای عمومی و همچنین نشانیهایی را که DNS آنها هم به IP عمومی و هم به IP خصوصی اشاره میکند رد میکند.

vLLM را آماده کنید
موتور را روی یک رابط شبکهی خصوصی اجرا کنید، درگاه را روی خود رایانه بررسی کنید و سپس آن را فقط برای شبکهی خانگی یا VPN خصوصی باز کنید.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
هر دستگاه را وصل کنید
در بخش «ارائهدهندگان» گزینهی «محاسبات محلی» را انتخاب کنید، موتور مورد نظر و نشانی خصوصی آن را وارد کنید و پیش از ذخیره مطمئن شوید مدل پیداشده همان مدل مورد نظر شماست.
نشانی را از اینترنت دور نگه دارید
هرگز موتور بدون احراز هویت را در معرض اینترنت قرار ندهید. از وایفای خانه یا محل کار یا یک VPN خصوصی مانند Tailscale استفاده کنید. برنامه نشانیهای عمومی و همچنین نشانیهایی را که DNS آنها هم به IP عمومی و هم به IP خصوصی اشاره میکند رد میکند.
پرسشهای متداول
آیا به پراکسی سرور Oriveo نیاز است؟
آیا مدل روی گوشی اجرا میشود؟
چه دستورها و درگاههایی لازم است؟
مطالب مرتبط
رایانهی خودتان را متصل کنید
Oriveo را روی iOS یا Android نصب کنید یا در مرورگر باز کنید و سپس به موتور موجود در شبکهی خصوصی خود وصل شوید.
هنوز کلید API ندارید؟ با Oriveo Free بدون آن شروع کنید.