여러 기기에서 vLLM 쓰기: 내 컴퓨터에 직접 연결
내 컴퓨터나 서버에서 실행 중인 vLLM에 여러 기기에서 바로 연결합니다. 수신 주소와 방화벽부터 Oriveo 설정까지, 엔진을 공용 인터넷에 노출하지 않고 구성하는 방법을 안내합니다.
- 이미 가진 컴퓨터의 성능을 다른 기기에서 그대로 씁니다. 로컬 HTTP 연결에는 API 인증 정보를 보내지 않습니다.
- Oriveo는 클라이언트입니다. vLLM은 컴퓨터나 서버에서 실행해야 하며, 휴대폰에서 모델을 실행하지 않습니다.
- 인증이 없는 엔진을 공용 인터넷에 노출해서는 안 됩니다. 집이나 회사의 Wi-Fi, 또는 Tailscale처럼 지원되는 사설 VPN을 사용하세요. 공인 주소, 또는 공인·사설 주소가 섞여 확인되는 도메인은 연결할 수 없습니다.
vLLM 준비하기
엔진을 사설 네트워크 인터페이스에서 실행하고 컴퓨터에서 포트가 열렸는지 먼저 확인한 다음, LAN이나 사설 VPN에서만 해당 포트를 허용합니다.
- vllm serve MODEL --host 0.0.0.0 --port 8000
- GET http://127.0.0.1:8000/v1/models
- TCP 8000 · LAN / private VPN
각 기기에서 연결하기
Oriveo의 제공업체 화면에서 로컬 컴퓨팅을 고르고 사용하는 엔진을 선택한 뒤 사설 주소를 입력합니다. 저장하기 전에 검색된 모델이 맞는지 확인합니다.
엔드포인트는 사설 네트워크 안에만
인증이 없는 엔진을 공용 인터넷에 노출해서는 안 됩니다. 집이나 회사의 Wi-Fi, 또는 Tailscale처럼 지원되는 사설 VPN을 사용하세요. 공인 주소, 또는 공인·사설 주소가 섞여 확인되는 도메인은 연결할 수 없습니다.
앱 이용 중 자주 묻는 질문
Oriveo 서버를 거쳐야 합니까?
아니요. 네이티브 앱은 엔진에 직접 연결합니다. 웹 앱은 브라우저의 로컬 네트워크 접근(Local Network Access)과 CORS를 사용하며, 사설 주소로 가는 요청을 Oriveo 서버가 중계하지 않습니다.
모델이 휴대폰에서 실행됩니까?
아니요. 모델은 컴퓨터나 서버에서 실행되고, 휴대폰은 클라이언트 역할만 합니다.
어떤 명령어와 포트를 사용합니까?
vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN