본문으로 건너뛰기

LLMBoost

Services → LLMBoost 연동과 관련된 문제들입니다.

"Services → LLMBoost" 페이지가 Disconnected로 표시됨​

사이드바 링크는 항상 표시됩니다. Disconnected 상태는 MAC이 서빙 API에 도달하지 못했다는 뜻입니다 — 등록된 에이전트 중 어느 누구의 30080 포트에서도 LLMBoost 클러스터를 찾지 못했고, 엔드포인트 오버라이드도 설정되지 않은 상태입니다.

자동 탐색은 추론 API가 아니라 http://<node-ip>:30080/manage/의 관리 UI를 탐색합니다 (:30080/api 베이스에서 도출). 일부러 /manage/를 확인하는 이유는, 관리 UI는 클러스터가 떠 있으면 항상 응답하는 반면 /v1/models는 배포된 모델이 없으면 503을 반환하기 때문입니다. 알아둘 점 두 가지:

  • 배포된 모델이 없는 실행 중 클러스터도 여전히 Connected로 표시됩니다 — 빈 모델 목록은 연결 문제가 아닙니다.
  • 루트 OpenAI API만 서빙하는 독립 실행형 엔진 (:30080/v1/models, /manage/ 없음)은 떠 있어도 자동 탐색되지 않습니다. 아래처럼 직접 지정하세요.

단계:

  • 도달성 확인 (자동 탐색이 검사하는 대상은 아니지만 합리적인 스모크 테스트): curl http://<node-ip>:30080/v1/models (Helm 차트 배포라면 .../api/v1/models).
  • 서빙 클러스터가 독립 실행형이거나 에이전트가 도달할 수 없는 서브넷에 있다면, 엔드포인트를 명시적으로 지정하세요 — LLMBoost 페이지 상단의 연결 카드에 입력하거나 (admin 전용, 메모리에만 유지), 마스터에 영속 설정합니다:
~$ mac env set LLMBOOST_API_ENDPOINT=http://<node-ip>:30080
~$ mac restart master

엔드포인트 불일치 (/api/ vs 루트)​

LLMBoost의 공식 Helm 차트는 API를 /api/ 아래에 노출합니다 (예: http://<ip>:30080/api/v1/models). 단독 배포판은 루트에 노출합니다 (예: http://<ip>:30080/v1/models). 환경에 맞춰 엔드포인트를 설정하세요.

~$ mac env set LLMBOOST_API_ENDPOINT=http://<ip>:30080/api    # Helm 차트
# 또는
~$ mac env set LLMBOOST_API_ENDPOINT=http://<ip>:30080        # 단독 배포

모델은 보이는데 차트가 비어 있음​

차트는 서빙 엔진의 Prometheus /metrics에서 나옵니다. 모델 목록은 정상인데 모든 차트가 평평하거나 비어 있다면, 마스터에서 <endpoint>/metrics에 접근되는지, 그리고 sglang: / vllm: / llmboost: 접두사가 붙은 메트릭을 반환하는지 확인하세요.

엔진 정체성 칩이 없음​

serving hero의 엔진 정체성 칩 (엔진 버전, 병렬화, 스펙큘레이티브 디코딩, KV dtype, 아키텍처)은 SGLang의 /get_server_info, /get_model_info 인트로스펙션 엔드포인트에서 옵니다. 이를 구현하지 않은 엔진 (예: vLLM)은 칩이 더 적게 표시될 뿐이며 — 정상 동작이지 고장이 아닙니다. 핵심 서빙 지표는 엔진과 무관하게 Prometheus /metrics 스크랩에서 계속 렌더링됩니다.

지원 번들 모으기​

티켓을 열 때 아래 명령들의 출력을 첨부해 주세요.

~$ mac status
~$ mac test sanity
~$ docker logs mac-api-server --tail 500
~$ docker logs mac-prometheus --tail 200
~$ curl -s http://localhost:29090/api/v1/targets
~$ uname -a
~$ dpkg -l mango-ai-center

기대했던 동작과 실제로 본 현상의 설명을 함께 contact@mangoboost.io로 보내주세요.