Oriveo
vLLM · 여러 기기

여러 기기에서 vLLM 사용: 로컬 컴퓨팅 직접 연결

내 컴퓨터에서 실행 중인 vLLM에 여러 기기를 연결합니다. 엔진을 인터넷에 공개하지 않고 리스너, 방화벽, 사설망과 Oriveo를 설정합니다.

  • 이미 보유한 컴퓨팅 자원을 다른 기기에서 사용하며 로컬 HTTP에 API 자격 증명을 보내지 않습니다.
  • Oriveo는 클라이언트입니다. vLLM는 컴퓨터에서 실행되며 휴대폰에서 모델을 실행하지 않습니다.
  • 인증 없는 엔진을 인터넷에 공개하지 마세요. 로컬 Wi-Fi나 Tailscale 같은 지원 VPN을 사용하세요. 공개 및 혼합 DNS 대상은 거부됩니다.

vLLM 준비

엔진을 사설 인터페이스에서 시작하고 컴퓨터에서 포트를 확인한 뒤 LAN 또는 사설 VPN에만 포트를 허용하세요.

  • vllm serve MODEL --host 0.0.0.0 --port 8000
  • GET http://127.0.0.1:8000/v1/models
  • TCP 8000 · LAN / private VPN

여러 기기에서 연결

제공자에서 로컬 컴퓨팅을 선택하고 엔진과 사설 주소를 입력한 뒤 검색된 모델을 확인하고 저장하세요.

엔드포인트를 비공개로 유지

인증 없는 엔진을 인터넷에 공개하지 마세요. 로컬 Wi-Fi나 Tailscale 같은 지원 VPN을 사용하세요. 공개 및 혼합 DNS 대상은 거부됩니다.

자주 묻는 질문

Oriveo 서버 프록시가 필요한가요?

아니요. 네이티브 앱은 직접 연결하며 웹은 브라우저 로컬 네트워크 접근과 CORS를 사용합니다.

모델이 휴대폰에서 실행되나요?

아니요. 모델은 컴퓨터나 서버에서 실행되고 휴대폰은 클라이언트입니다.

엔드포인트를 비공개로 유지?

vllm serve MODEL --host 0.0.0.0 --port 8000 · GET http://127.0.0.1:8000/v1/models · TCP 8000 · LAN / private VPN

내 컴퓨팅 자원 연결

Oriveo 네이티브 앱 또는 데스크톱 다운로드로 사설망 엔진에 연결하세요.

API 키가 아직 없어도 Oriveo Free로 시작할 수 있습니다.

웹 앱 열기다운로드

가이드

Local LLM · 외부

외부에서 Local LLM 사용: 로컬 컴퓨팅 직접 연결

내 컴퓨터에서 실행 중인 Local LLM에 외부를 연결합니다. 엔진을 인터넷에 공개하지 않고 리스너, 방화벽, 사설망과 Oriveo를 설정합니다.

llama. cpp · iPhone

iPhone에서 llama. cpp 사용: 로컬 컴퓨팅 직접 연결

내 컴퓨터에서 실행 중인 llama. cpp에 iPhone를 연결합니다. 엔진을 인터넷에 공개하지 않고 리스너, 방화벽, 사설망과 Oriveo를 설정합니다.

LM Studio · 모바일

모바일에서 LM Studio 사용: 로컬 컴퓨팅 직접 연결

내 컴퓨터에서 실행 중인 LM Studio에 모바일를 연결합니다. 엔진을 인터넷에 공개하지 않고 리스너, 방화벽, 사설망과 Oriveo를 설정합니다.