본문으로 건너뛰기

agent와 metric

장애 중에도 그래프에 이전 데이터가 남을 수 있으므로 측정 시각을 확인하세요.

대시보드에 agent가 표시되지 않음​

확인: agent에서 mac status -v, mac env와 curl -m5 http://<master-ip>:28080/health를 실행하세요.

해결:

  • 2단계 — agent 등록처럼 MASTER_IP와 master의 MAC_NODE_TOKEN을 node 단위 설정에 저장한 뒤 mac start agent를 실행하고 등록 결과를 확인하세요.
  • 호스트 이름이 같은 node에는 node마다 고유한 NODE_NAME을 node 단위 설정에 지정하세요.
  • 컨테이너 이름이 충돌하면 docker inspect <container-name>으로 이전 MAC 컨테이너임을 확인한 경우에만 제거하세요.

재부팅 후 agent가 Online 상태로 돌아오지 않음​

해결: Docker가 부팅 시 시작하도록 설정하고(systemctl is-enabled docker), 재부팅 전에 중지한 컨테이너는 mac start <mode>로 시작하세요. "port is already allocated" 오류가 나면 남은 Docker 프록시를 참고하세요.

컨테이너는 정상인데 agent가 "Offline"으로 표시됨 (ip_forward)​

대개 NIC metric만 수집됩니다. 확인: agent에서 cat /proc/sys/net/ipv4/ip_forward를 실행하세요.

해결: 값이 0이면 sudo sysctl -w net.ipv4.ip_forward=1을 실행하고, /etc/sysctl.d/와 네트워크 관리자 설정에도 저장하세요. 약 30초 안에 Online으로 돌아옵니다.

등록된 NVIDIA node에 GPU metric이 표시되지 않음​

확인: nvidia-smi와 mac logs dcgm-exporter를 확인하세요.

해결: NVIDIA Container Toolkit을 설정한 뒤(이때 Docker를 다시 시작하면 다른 컨테이너도 영향을 받습니다) mac restart agent를 실행하세요. mac start agent가 종료 코드 4로 끝나면 로드된 드라이버와 라이브러리의 버전이 맞지 않는 것이므로 호스트 드라이버를 먼저 수정하세요.

등록된 AMD node에 GPU metric이 표시되지 않음​

확인: ls -l /dev/kfd /dev/dri, lsmod | grep amdgpu와 mac logs rocm-exporter를 실행하세요. 카드가 제공하지 않는 값은 0이 아니라 값 없음으로 표시됩니다.

AMD 파티션 모니터링 복구​

파티션을 변경하면 MAC이 GPU 설정은 바꾸지 않고 새 구성에 맞게 ROCm exporter를 다시 시작합니다. 이후에도 측정값이 맞지 않으면 mac logs sys-manager를 확인하세요.

metric은 최신인데 sanity 검사가 실패함​

Sanity는 이전 배포에서 남은 컨테이너처럼 중지된 MAC 컨테이너도 검사합니다. 변경하기 전에 docker inspect <exact-container-name>으로 컨테이너의 소유자를 확인하세요.

RDMA bandwidth 그래프에 변화가 없음​

RDMA bandwidth 그래프는 링크의 최대 대역폭이 아니라 실제 트래픽 처리량을 표시하므로 유휴 포트는 0을 표시합니다.

node 로그가 없거나 Dmesg 탭이 비어 있음​

확인: mac logs sys-exporter, master 접속 상태와 node 토큰을 확인하세요. Dmesg 탭만 비어 있다면 Journal, Syslog 탭과 비교하세요. Monitoring → System log는 operator 또는 admin 계정으로만 사용할 수 있습니다.

SDK 작업이 오류를 반환함​

  • 401: node 인증을 참고해 토큰을 일치시킨 뒤 master와 agent를 다시 시작하세요.
  • 409: 호스트의 apt 또는 dnf가 사용 중입니다. 나중에 다시 시도하세요.
  • 502: 패키지 저장소 접속과 mac logs mango-sdk-agent를 확인하세요.
  • 503: agent에서 mac status를 확인하세요.

RHEL 계열 node에서 SDK 패키지나 DPU 정보를 읽지 못함​

해결: 배포 환경에 맞게 제공된 RPM 지원 이미지를 node 단위 SDK_AGENT_IMAGE로 설정하고 mac restart agent를 실행하세요. 소스 기반 작업에는 /etc/yum.repos.d/mango-sdk.repo도 필요합니다(Software).