본문으로 건너뛰기

LLMBoost

Services → LLMBoost는 추론 서비스, 모델, 엔진, 게이트웨이 정보를 표시합니다.

LLMBoostLLMBoost

탐색 설정​

  1. 관리자 계정으로 Kubernetes API 주소와 ServiceAccount 토큰, 또는 kubeconfig를 입력해 Kubernetes에 연결하세요. CA 인증서는 TLS options에서 설정하세요.

  2. No pod access가 표시되면 추론 클러스터를 관리하는 머신에서 설치된 RBAC add-on을 적용하고 토큰을 읽으세요.

    kubectl apply -f /etc/mango/mac/k8s/mac-llmboost-rbac.yaml
    kubectl -n mac-system get secret mac-observer-token -o jsonpath='{.data.token}' | base64 -d

    디코딩한 토큰을 양식이나 K8S_API_TOKEN에 입력하세요. 토큰은 외부에 노출되지 않도록 보관하세요.

  3. 필요하면 네임스페이스를 쉼표로 구분해 입력하세요. 두 네임스페이스 목록을 모두 비워 두면 MAC이 추론 네임스페이스를 자동으로 찾습니다.

add-on은 mango-ai-os와 mango-ai-serving 네임스페이스 접근 권한을 부여합니다. 다른 네임스페이스도 읽으려면 add-on의 reader/proxy 역할과 바인딩을 해당 네임스페이스에 적용하세요. 화면에서 입력한 설정은 다시 시작하기 전까지 환경 변수보다 우선 적용되며, Revert to environment를 선택하면 지워집니다. master에 설정한 호스트 대상은 Kubernetes 탐색 결과와 함께 사용됩니다. 자세한 내용은 LLMBoost 자동 탐색을 참고하세요.

llmboost connectionllmboost connection

대시보드에서 확인할 정보​

manual은 양식에서 지정한 설정을 사용한다는 뜻이고, stale은 최근 조회가 실패했다는 뜻입니다. 대상 수 제한 경고가 표시되면 일부 대상을 탐색하지 못한 것입니다.

llmboost modelsllmboost models

llmboost platformllmboost platform

llmboost gatewaysllmboost gateways

metric 이력​

추론 엔진 항목을 펼쳐 해당 엔진의 metric 이력을 확인하세요.

추론 엔진 metric과 이력추론 엔진 metric과 이력

사용 가능 여부​

추론 서비스를 배포하거나 확장하고 일시 중지하려면 LLMBoost를 사용하세요. 연결 오류는 LLMBoost 문제 해결을 참고하세요.