Mango AI Center
**Mango AI Center (MAC)**는 GPU, DPU, RDMA NIC, 고속 이더넷 패브릭으로 구성된 AI 서버 플릿을 한 곳에서 관리하기 위한 플랫폼입니다. 하드웨어 상태 점검, 네트워크 토폴로지 시각화, 스위치 설정, 노드별 SDK 소프트웨어 관리, AI 추론 클러스터 모니터링까지 — 매번 서버에 SSH로 들어가지 않아도 하나의 대시보드에서 모두 처리할 수 있습니다.
MAC은 가벼운 마스터 / 에이전트 구조로 동작합니다. 마스터 노드 한 대가 웹 대시보드, REST API, Prometheus 시계열 데이터베이스를 호스팅하고, 관리 대상 서버마다 설치되는 작은 에이전트가 GPU / DPU / NIC 메트릭, 시스템 로그, SDK 상태를 수집합니다. 에이전트는 기동 시 마스터에 자동으로 등록되므로, 새 서버를 플릿에 추가하는 작업은 사실상 명령어 한 줄로 끝납니다.
주요 특징
AI 인프라를 한 화면에서
- 클러스터 전체 개요 — 노드별 상태, GPU/DPU/NIC 인벤토리, 알림, 전력 소비
- NVIDIA·AMD GPU, MangoBoost DPU, RDMA NIC의 실시간 메트릭
- 모든 에이전트의 로그를 한 곳에서 검색 (journal, dmesg, syslog)
다양한 벤더 하드웨어 지원
- GPU — NVIDIA (A100, H100, RTX PRO 6000), AMD (MI300X, MI325X, Radeon AI PRO R9700)
- DPU / RNIC — MangoBoost GPUBoost, NVIDIA BlueField-3, Broadcom Thor2
- 스위치 — SONiC, Dell OS10
- BMC — 아웃오브밴드 전원 제어와 콘솔 접속을 위한 IPMI / Redfish
네트워크 토폴로지와 스위치 관리
- LLDP 기반 자동 탐색으로 그려지는 멀티 티어 Clos 토폴로지 캔버스
- 포트별 트래픽 카운터, 큐 드롭, PFC 이벤트, 버퍼 워터마크
- 클릭 한 번으로 인터페이스 up/down, IP 할당, MTU 변경, 브레이크아웃 모드 변경
- BGP 네이버 및 라우트 설정, ECMP max-paths 관 리
- 브라우저에서 바로 접속하는 SSH 터미널
- 후면 포트 레이아웃 — 포트를 클릭하면 해당 포트 상세 페이지로 바로 이동
- 에이전트의 dmidecode + lspci 데이터로 구성한 PCIe 슬롯 인벤토리 (BMC 없이 동작)
SDK·펌웨어 라이프사이클
- 에이전트별 MangoBoost SDK 패키지 설치 현황 조회
- UI에서 설치 / 업그레이드 / 제거 작업을 실행하고 진행 상태 확인
- 여러 서버의 DPU 펌웨어를 한꺼번에 업데이트
LLM 추론 가시성 (LLMBoost)
- 실행 중인 LLMBoost 쿠버네티스 클러스터를 자동 탐색
- 서빙 중인 모델, 파드 배치, 요청 처리량, 지연 시간을 확인
- 스케일·일시 정지·재개, 배포 키 추가/제거 등 라이프사이클 제어
- 모델별 메트릭 (요청 수, 지연 시간, 토큰, KV 캐시) 분석
- LLMBoost 관리 UI로 바로 이동하는 링크 제공
아키텍처
- 마스터 노드는 웹 대시보드, REST API, Prometheus, 그리고 모든 에이전트의 GPU 익스포터를 단일 Prometheus 타겟으로 묶어주는 metrics-bridge를 실행합니다.
- 에이전트 노드는 익스포터 묶음 (dcgm / rocm / nic / sw / sys), SDK 패키지 관리를 담당하는 mango-sdk-agent, BMC와 통신하는 bmc-agent를 실행합니다. 로그는 Loki를 통해 마스터로 전송되고, 메트릭은 Prometheus가 스크랩할 수 있도록 엔드포인트로 노출됩니다.
대시보드 한눈에 보기
웹 UI는 사이드바를 기준으로 5개 영역으로 나뉩니다.
| 영역 | 범위 | 페이지 |
|---|---|---|
| Cluster | 클러스터 전체 | Overview · Nodes · Network · Alert Rules · Users |
| Services | 클러스터 전체 | LLMBoost |
| Hardware | 노드별 | Server · GPU · NIC · Storage |
| Monitoring | 노드별 | Performance · Power & Thermal |
| Maintenance | 노드별 | BMC · Software · Containers · Logs · Audit Log |
Services와 Hardware 사이의 노드 선택기로 대시보드를 특정 서버에 고정해두면, Hardware·Monitoring·Maintenance 페이지가 모두 선택된 노드를 기준으로 표시됩니다.
지원 하드웨어
GPU
| 벤더 | 모델 |
|---|---|
| NVIDIA | H100, B100, B200, RTX PRO 6000 Blackwell |
| AMD | MI250, MI300X, MI325X, Radeon AI Pro R9700 |
DPU / RNIC
| 벤더 | 제품 | 비고 |
|---|---|---|
| MangoBoost | GPUBoost RNIC (200/400 GbE) | RDMA, RoCEv2, FPGA 기반 |
| NVIDIA Mellanox | ConnectX, BlueField-3 | DCGM 호환 RDMA NIC |
| Broadcom | Thor2 (BCM57608) | IB 하드웨어 카운터 기반 RDMA |
네트워크 스위치
- SONiC
- Dell OS10
BMC
- IPMI 2.0 / Redfish