에이전트와 메트릭

마스터는 정상인데 등록된 에이전트의 데이터가 들어오지 않는 경우입니다.

에이전트가 대시보드에 보이지 않음

1. 에이전트에서 서비스가 동작 중인지 확인: mac status.
2. 마스터에 도달 가능한지 확인: curl http://<master-ip>:28080/health.
3. 등록 여부 확인. mac start agent가 마스터에 POST /api/v1/register를 직접 호출하며, 성공 시 Registered with master <ip>.를 표준 출력으로 찍습니다. 마스터 쪽에서 확인하려면 api-server 액세스 로그를 봅니다.

   ~$ docker logs mac-api-server 2>&1 | grep '/api/v1/register'

4. 마스터에서 Prometheus 타겟을 확인합니다.

   ~$ curl -s http://localhost:29090/api/v1/targets | jq '.data.activeTargets[] | {labels, health}'

   down 상태인 타겟에는 실패 원인을 설명하는 스크랩 오류가 함께 표시됩니다.

등록된 NVIDIA 노드에서 GPU 메트릭이 나오지 않음

dcgm-exporter 컨테이너는 NVIDIA Container Toolkit에 의존합니다. 다음으로 확인합니다.

~$ docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi

이 명령이 실패한다면 툴킷을 설치한 뒤 (sudo apt install nvidia-container-toolkit, sudo nvidia-ctk runtime configure --runtime=docker, sudo systemctl restart docker), mac restart agent를 실행하세요.

등록된 AMD 노드에서 GPU 메트릭이 나오지 않음

rocm-exporter는 컨테이너 내부에서 /dev/kfd와 /dev/dri에 접근할 수 있어야 합니다.

~$ ls -l /dev/kfd /dev/dri
~$ docker exec mac-rocm-exporter rocm-smi

rocm-smi가 GPU를 보지 못한다면, 커널 모듈 (amdgpu)이 적재되지 않았을 가능성이 있습니다. lsmod | grep amdgpu로 확인하세요.

NIC 대역폭 차트가 평탄함

• NVIDIA Mellanox와 MangoBoost GPUBoost는 RDMA 대역폭을 ethtool -S로 읽어옵니다. 컨테이너 내부에서 docker exec mac-nic-exporter ethtool -S <iface> | grep -i rdma를 실행해, 부하를 주는 동안 카운터가 증가하는지 확인하세요.
• Broadcom Thor2 (BCM57608)의 경우 대역폭을 /sys/class/infiniband/<ibdev>/ports/1/hw_counters/{rx,tx}_bytes의 IB 하드웨어 카운터에서 읽어옵니다. 컨테이너는 /sys에 읽기 권한이 있어야 하며, docker-compose.agent.yml에 기본으로 설정되어 있습니다.

에이전트 Health 엔드포인트

서비스	URL
dcgm-exporter	http://<agent>:29150/metrics
rocm-exporter	http://<agent>:29200/metrics
nic-exporter	http://<agent>:29500/metrics
sys-exporter	http://<agent>:29101/metrics
sw-exporter	http://<agent>:29300/metrics
bmc-agent	http://<agent>:29102/health
sys-manager	http://<agent>:29103/health
mango-sdk-agent	http://<agent>:28000/docs (FastAPI 문서 페이지; 200이면 살아있음)