본문으로 건너뛰기

LLMBoost

Services → LLMBoost 연동과 관련된 문제들입니다.

"Services → LLMBoost" 페이지가 Disconnected로 표시됨​

사이드바 링크는 항상 표시됩니다. Disconnected 상태는 등록된 에이전트 중 어느 누구도 30080 포트(LLMBoost NodePort) 또는 6443 포트(K8s API)에서 응답하지 않는다는 뜻입니다.

  • K8s 호스트에서 lbh cluster status로 LLMBoost 클러스터가 동작 중인지 확인합니다.
  • 에이전트 호스트 IP에서 https://<k8s-ip>:6443/healthz에 접근되는지 확인합니다 (curl -k).
  • K8s 노드가 다른 서브넷에 있다면, LLMBOOST_API_ENDPOINT / LLMBOOST_K8S_API_URL로 엔드포인트를 명시 지정한 뒤 마스터를 재시작하세요.

LLMBoost 페이지에 모델은 보이는데 디플로이먼트가 없음​

디플로이먼트 CRD 목록을 가져오려면 K8s API에 서비스 어카운트 토큰이 필요합니다. 읽기 전용 토큰을 만드는 두 줄짜리 kubectl 명령은 시작하기 → 최초 설정 → LLMBoost를 참고하세요.

토큰 만료​

--duration=8760h (1년)로 토큰을 발급했다면, 결국 만료되면서 디플로이먼트 / 파드 뷰가 비어 보이고 메트릭만 계속 들어오는 상황이 됩니다. kubectl create token을 다시 실행하고, 마스터의 LLMBOOST_K8S_TOKEN 값을 교체하세요.

엔드포인트 불일치 (/api/ vs 루트)​

LLMBoost의 공식 Helm 차트는 API를 /api/ 아래에 노출합니다 (예: http://<ip>:30080/api/v1/models). 단독 배포판은 루트에 노출합니다 (예: http://<ip>:30080/v1/models). 환경에 맞춰 엔드포인트를 설정하세요.

mac env set LLMBOOST_API_ENDPOINT=http://<ip>:30080/api    # Helm 차트
# 또는
mac env set LLMBOOST_API_ENDPOINT=http://<ip>:30080        # 단독 배포

지원 번들 모으기​

티켓을 열 때 아래 명령들의 출력을 첨부해 주세요.

mac status
docker logs mac-api-server --tail 500
docker logs mac-prometheus --tail 200
curl -s http://localhost:29090/api/v1/targets
uname -a
dpkg -l mango-ai-center

기대했던 동작과 실제로 본 현상의 설명을 함께 contact@mangoboost.io로 보내주세요.