NVIDIA Mellanox 920-9B110-00FH-0D0 기술 참조: RDMA/HPC/AI를 위한 최적화된 저연속 인터커넥트
August 25, 2026
NVIDIA Mellanox 920-9B110-00FH-0D0 기술 참조: 200Gb/s HDR에서 RDMA/HPC/AI 클러스터를 위한 최적화된 저지연 상호 연결
1. 프로젝트 배경 및 요구사항 분석
HPC 및 AI 클러스터가 계속 확장됨에 따라 분산 학습 및 과학 시뮬레이션 워크로드는 점점 더 엄격한 네트워크 대역폭, 지연 시간 및 확장성을 요구합니다. 그러나 모든 클러스터가 400Gb/s NDR 인프라를 필요로 하는 것은 아닙니다. 상당수의 프로덕션 환경은 이미 200Gb/s HDR에 표준화되어 있으며 제어된 예산 내에서 성능 향상을 추구합니다. 일반적인 요구사항은 다음과 같습니다.
- 결정론적 저지연: MPI 집계 통신은 서브 마이크로초 포트 간 지연 시간을 유지하여 테일 지연 시간이 학습 수렴에 영향을 미치지 않도록 해야 합니다.
- 무손실 패브릭: 혼잡 시 패킷 손실 제로를 보장하여 RDMA 효율성을 높이고 성능 저하를 방지합니다.
- 네트워크 내 컴퓨팅 오프로드: All-Reduce와 같은 집계 작업을 네트워크 패브릭으로 오프로드하여 호스트 CPU/GPU 리소스를 확보합니다.
- 원활한 확장성: 수백에서 수천 개의 노드로의 비차단 확장을 지원하며 기존 HDR 케이블 및 광 트랜시버와의 호환성을 제공합니다.
이러한 요구사항을 충족하기 위해 이 솔루션은 NVIDIA Mellanox 920-9B110-00FH-0D0을 핵심 빌딩 블록으로 채택합니다. 이는 중대형 배포에 대한 성능, 밀도 및 비용 효율성의 균형을 맞추는 200Gb/s HDR InfiniBand 스위치입니다.
2. 전체 네트워크 아키텍처 설계
제안된 솔루션은 확장 가능하고 비차단 패브릭을 제공하며 예측 가능한 지연 시간과 단순화된 케이블링을 제공하는 2계층 리프-스파인 토폴로지를 사용합니다. 리프 계층에서는 각 컴퓨팅 랙에 920-9B110-00FH-0D0 InfiniBand 스위치 OPN(주문 부품 번호)이 장착되어 있으며, OSFP-to-OSFP 직접 연결 구리(DAC) 또는 액티브 광 케이블(AOC)을 통해 GPU 서버에 200Gb/s HDR 연결 40포트를 제공합니다. 스파인 계층에서는 MQM8790-HS2F 스위치의 두 번째 계층( 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR의 기반이 되는 실리콘 플랫폼)이 모든 리프 스위치를 상호 연결하여 전체 바이섹션 대역폭 패트리 패브릭을 생성합니다.
1,500개 이상의 노드를 초과하는 대규모 클러스터의 경우 3계층 폴디드 클로스 아키텍처를 구현할 수 있으며, 920-9B110-00FH-0D0은 리프와 스파인 역할을 모두 수행하여 모든 레벨에서 일관된 성능을 유지합니다. 다음 표는 이 스위치를 중심으로 구축된 2계층 HDR 패브릭의 주요 확장 매개변수를 요약합니다.
| 구성 요소 | 사양 | 값 |
|---|---|---|
| 리프 스위치 | 920-9B110-00FH-0D0 | 랙당 1개 |
| 스파인 스위치 | 920-9B110-00FH-0D0 | N/2 (N = 리프 스위치 수) |
| 최대 엔드포인트 | GPU 서버 | 최대 1,600개 (40포트 라딕스) |
| 바이섹션 대역폭 | 전체 비차단 | 스파인 계층당 8.0Tb/s |
3. NVIDIA Mellanox 920-9B110-00FH-0D0의 역할 및 주요 기능
이 아키텍처 내에서 NVIDIA Mellanox 920-9B110-00FH-0D0은 여러 가지 중요한 기능을 제공하는 기본 스위칭 요소 역할을 합니다.
- 200Gb/s HDR 40포트: 각 OSFP 포트는 안정적인 확장 연결을 위해 양방향 200Gb/s와 전방 오류 수정(FEC)을 지원합니다.
- 통합 SHARPv2(확장 가능한 계층적 집계 및 축소 프로토콜): 집계 통신 작업을 오프로드하여 일반적인 HPC 워크로드에서 MPI All-Reduce 지연 시간을 최대 30%까지 줄입니다.
- 적응형 라우팅 및 혼잡 제어: 트래픽 핫스팟을 피하기 위해 동적으로 트래픽을 재라우팅하여 악의적인 트래픽 패턴에서도 예측 가능한 성능을 보장합니다.
- 고급 텔레메트리: 포트별 및 흐름별 카운터와 버퍼 점유율 모니터링을 통해 패브릭 상태에 대한 깊은 가시성을 제공합니다.
920-9B110-00FH-0D0 데이터시트에 따르면 이 스위치는 200ns 미만의 컷스루 지연 시간을 제공하며 최대 8.0Tb/s의 총 스위칭 용량을 지원합니다. 920-9B110-00FH-0D0 사양은 또한 이중 이중화 전원 공급 장치와 핫스왑 가능한 팬 모듈을 강조하여 미션 크리티컬 워크로드에 대해 99.999%의 가용성을 보장합니다.
4. 배포 및 확장성 권장 사항
920-9B110-00FH-0D0 InfiniBand 스위치 OPN 솔루션을 채택할 계획인 조직의 경우 다음 배포 지침을 권장합니다.
- 케이블링 전략: 랙 내 연결(최대 3m)에는 OSFP-to-OSFP DAC 케이블을 사용하고, 랙 간 및 스파인-리프 링크(최대 100m)에는 AOC 또는 광 트랜시버를 사용합니다. 모든 케이블이 NVIDIA 호환성 매트릭스에 따라 920-9B110-00FH-0D0 호환되는지 확인합니다.
- 이중화: 별도의 PDU에 연결된 이중 전원 공급 장치를 배포합니다. 단일 장애 지점을 제거하기 위해 리프당 최소 두 개의 스파인 스위치를 사용합니다.
- 펌웨어 관리: 모든 스위치가 동일한 NVIDIA 펌웨어 버전을 실행하는지 확인합니다. UFM의 자동 펌웨어 업그레이드 기능을 사용하여 다운타임 없이 롤링 업데이트를 수행합니다.
- 확장성 경로: 1,600개 이상의 노드를 초과하는 클러스터의 경우 3계층 폴디드 클로스 토폴로지로 전환하거나 적응형 라우팅을 활용합니다. 920-9B110-00FH-0D0은 단일 서브넷 관리자에서 단일 패브릭에 최대 64개의 스위치를 지원합니다.
총 소유 비용을 계산할 때 낮은 라딕스 대안과 비교하여 스위치 계층 수 감소 및 케이블링 단순화를 고려하십시오. 920-9B110-00FH-0D0 가격은 EDR(100Gb/s) 스위치보다 단위당 높지만, 포트당 비용은 NDR보다 훨씬 낮아 비용에 민감한 HDR 배포에 최적의 선택입니다.
5. 운영, 모니터링 및 문제 해결
HDR 패브릭의 효과적인 관리를 위해서는 포괄적인 모니터링 및 문제 해결 프레임워크가 필요합니다. NVIDIA의 Unified Fabric Manager(UFM)는 전체 NVIDIA Mellanox 920-9B110-00FH-0D0-기반 패브릭에 대한 단일 창을 제공하며 다음을 제공합니다.
- 토폴로지 시각화: 모든 스위치, 링크 및 엔드포인트의 자동 검색 및 그래픽 표현.
- 성능 대시보드: 포트 사용률, 오류율 및 혼잡 지표의 실시간 보기.
- 사전 경고: 링크 성능 저하, 온도 이상 및 전원 공급 장치 오류에 대한 임계값 기반 경보.
- 장애 격리: 결함이 있는 케이블, 트랜시버 또는 스위치 포트를 식별하는 안내 문제 해결 워크플로.
고급 문제 해결을 위해 루프백 테스트 및 BER(비트 오류율) 분석을 포함한 스위치의 내장 진단 도구를 활용하여 프로덕션 워크로드를 배포하기 전에 링크 무결성을 검증합니다. 초기 배포에서 발생하는 일반적인 문제는 불균등한 링크 속도 또는 잘못된 케이블 유형으로 인한 최적화되지 않은 라우팅입니다. 적응형 라우팅을 활성화하고 모든 링크가 200Gb/s(FEC 활성화)로 작동하는지 확인하면 대부분의 성능 이상이 해결됩니다. 920-9B110-00FH-0D0 InfiniBand 스위치 OPN은 또한 이중화된 서브넷 관리자 구성을 지원하여 관리 노드 장애 발생 시 패브릭 재구성이 수동 개입 없이 발생하도록 보장합니다.
6. 요약 및 가치 평가
920-9B110-00FH-0D0은 HDR 기반 HPC 및 AI 클러스터를 구축하거나 확장하는 조직에게 매력적인 가치 제안을 제공합니다. 200ns 미만의 지연 시간, SHARPv2 오프로드 및 엔터프라이즈급 관리 기능을 갖춘 200Gb/s HDR 40포트를 비용 효율적인 1U 플랫폼에서 제공합니다. 주요 가치 포인트는 다음과 같습니다.
- 성능: SHARPv2 오프로드 및 적응형 라우팅을 통해 통신 집약적인 워크로드의 작업 완료 시간을 최대 35%까지 단축합니다.
- 비용 효율성: NDR 대안에 비해 TCO가 낮으며, 포트당 비용은 HDR 규모 배포에 최적화되어 있습니다.
- 운영 단순성: 통합 관리, 사전 모니터링 및 자동 장애 조치를 위한 UFM과의 깊은 통합.
- 투자 보호: 기존 HDR 케이블, 광학 장치 및 소프트웨어 스택과의 완벽한 호환성으로 프로덕션을 중단하지 않고 단계적 업그레이드를 가능하게 합니다.
NVIDIA 채널 파트너를 통해 920-9B110-00FH-0D0 판매을 평가하는 조직의 경우 자세한 920-9B110-00FH-0D0 데이터시트를 검토하고 인증된 솔루션 아키텍트와 협력하여 특정 워크로드 및 규모 요구 사항에 대한 설계를 검증하는 것이 좋습니다. NVIDIA Mellanox 920-9B110-00FH-0D0은 오늘날 프로덕션 준비가 되어 있으며 차세대 HPC 및 AI 혁신을 위한 균형 잡힌 고성능 상호 연결 기반을 제공합니다.