NVIDIA Mellanox MQM9790-NS2F in Action: AI 및 HPC 클러스터를 위한 저연속 RDMA 패브릭 구축

NVIDIA Mellanox MQM9790-NS2F 실제 적용: AI 및 HPC 클러스터용 저지연 RDMA 패브릭 구축

배경 및 과제: 확장 시 병목 현상이 발생하는 경우

대규모 언어 모델이 수천 개에서 수만 개의 GPU로 확장되고, 날씨 시뮬레이션이 킬로미터 규모 해상도로 발전함에 따라 기존 이더넷 패브릭의 한계가 명확해지고 있습니다. 이러한 환경에서 MPI 집합 통신 패턴(예: all-reduce 및 all-to-all)은 네트워크 지연 시간과 혼잡 제어에 극심한 요구를 가합니다. 전용 인터커넥트 없이는 가장 강력한 컴퓨팅 노드조차 데이터 대기에 상당한 시간을 소비하여 값비싼 GPU 리소스를 낭비하게 됩니다.

이것이 바로 NVIDIA Mellanox MQM9790-NS2F가 해결하는 과제입니다. 64개의 OSFP 포트를 갖춘 400Gb/s NDR InfiniBand 스위치로서, 수천 개의 엔드포인트에 걸쳐 결정론적이고 마이크로초 미만의 지연 시간을 제공하도록 설계되어 분산 워크로드에 대한 진정한 선형 확장을 가능하게 합니다.

솔루션 및 배포: RDMA를 위해 구축된 Leaf-Spine 패브릭

대규모 AI 연구실의 일반적인 배포 시나리오에서 MQM9790-NS2F InfiniBand 스위치는 2계층 Leaf-Spine 토폴로지의 핵심을 형성합니다. Leaf 계층에서는 각 컴퓨팅 랙에 MQM9790-NS2F 장치 하나 또는 두 개가 장착되어 OSFP-to-OSFP 직접 연결 구리 케이블 또는 액티브 광 케이블을 통해 GPU 서버에 64개의 400Gb/s 연결 포트를 제공합니다. Spine 계층에서는 추가 MQM9790-NS2F 스위치가 Leaf를 상호 연결하여 전체 이분산 대역폭을 갖춘 비차단 패트리 패브릭을 생성합니다.

이 솔루션을 특히 매력적으로 만드는 것은 스위치가 InfiniBand 모드에서 작동할 때 이더넷 통합(RoCE)을 통한 RDMA를 기본적으로 지원한다는 것입니다. 여기서는 InfiniBand의 기본 RDMA 기능을 활용하여 더욱 낮은 지연 시간과 CPU 오프로드를 제공합니다. MQM9790-NS2F 400Gb/s NDR 64포트 OSFP는 NVIDIA의 SHARPv3(확장 가능한 계층적 집계 및 축소 프로토콜) 기술을 통합하여 스위치 패브릭에 직접 집합 연산을 오프로드합니다. 실제로는 네트워크를 여러 번 통과해야 하는 all-reduce 연산이 이제 단일 패스로 완료되어 통신 집약적인 워크로드의 작업 완료 시간을 최대 30%까지 단축합니다.

네트워크 설계자가 MQM9790-NS2F InfiniBand 스위치 솔루션을 평가할 때, NVIDIA의 Unified Fabric Manager(UFM)를 통해 배포 프로세스가 간소화됩니다. UFM은 패브릭 상태에 대한 중앙 집중식 가시성, 자동화된 토폴로지 검색 및 사전 예방적 혼잡 모니터링을 제공합니다. 이는 2,000개 이상의 포트를 갖춘 패브릭을 관리할 때 중요한 기능입니다. 초기 채택자들은 MQM9790-NS2F 호환 생태계(다양한 NVIDIA 인증 케이블 및 트랜시버 포함)가 조달을 단순화하고 배포 위험을 줄인다고 보고했습니다.

결과 및 측정 가능한 이점: 이론에서 실제 생산까지

대규모 트랜스포머 모델 학습 전용 2,048-GPU 클러스터에 대한 최근 실제 배포에서 HDR(200Gb/s)에서 NDR(400Gb/s) 인프라로의 업그레이드( NVIDIA Mellanox MQM9790-NS2F가 핵심)는 여러 측면에서 측정 가능한 개선을 가져왔습니다:

• 작업 완료 시간 단축: 175B 매개변수 모델의 엔드투엔드 학습 반복 횟수가 28% 감소했으며, 이는 주로 SHARPv3 오프로드 및 지연 시간 감소에 기인합니다.
• 네트워크 활용률: 스위치의 고급 적응형 라우팅 및 혼잡 제어 메커니즘 덕분에 혼잡 붕괴를 유발하지 않고 평균 패브릭 활용률이 62%에서 89%로 증가했습니다.
• 운영 단순성: 스위치당 64개의 포트로 인해 32포트 HDR 설계에 비해 필요한 스파인 스위치 수가 절반으로 줄어들어 랙당 케이블 복잡성과 전력 소비가 크게 감소했습니다.

MQM9790-NS2F 사양에 따르면, 이 스위치는 100ns 미만의 포트 간 지연 시간을 제공하며 최대 51.2Tb/s의 총 스위칭 용량을 지원합니다. 이 수치는 이 배포에서 관찰된 성능과 밀접하게 일치합니다. 네트워크 엔지니어들은 또한 MQM9790-NS2F 데이터시트가 실제 성능을 정확하게 반영했으며 검증 단계에서 예상치 못한 문제가 없었다고 언급했습니다.

TCO 관점에서 볼 때, 스위치 계층당 더 많은 엔드포인트를 통합할 수 있는 능력은 자본 지출을 직접적으로 줄였습니다. 초기 MQM9790-NS2F 가격은 동급 200Gb/s 솔루션보다 높지만, 더 높은 라딕스와 스위치 계층 수 감소로 인해 GPU당 네트워킹 비용은 실제로 감소했습니다. 이러한 경제적 이점과 성능 향상이 결합되어 연구실 운영 위원회에 대한 비즈니스 사례가 명확해졌습니다.

요약 및 전망: 엑사스케일 컴퓨팅을 위한 NDR 기반

NVIDIA Mellanox MQM9790-NS2F는 단순한 점진적 업그레이드 이상입니다. HPC 및 AI 클러스터 설계 방식의 근본적인 변화를 나타냅니다. 400Gb/s NDR 대역폭, 64포트 밀도 및 단일 1U 폼 팩터의 인네트워크 컴퓨팅 가속을 제공함으로써, 설계자는 성능이나 관리 용이성을 희생하지 않고 수만 개의 엔드포인트로 확장되는 패브릭을 구축할 수 있습니다.

앞으로 워크로드가 계속해서 더 높은 대역폭과 더 낮은 지연 시간을 요구함에 따라, MQM9790-NS2F InfiniBand 스위치는 차세대 엑사스케일 시스템의 기반 빌딩 블록 역할을 할 것입니다. 기존 NVIDIA Quantum-2 플랫폼과의 호환성과 UFM과의 원활한 통합은 HDR 패브릭에서 업그레이드하는 조직을 위한 원활한 마이그레이션 경로를 보장합니다. 차세대 네트워킹 투자를 평가하는 IT 관리자 및 설계자에게 MQM9790-NS2F는 저지연 RDMA 인터커넥트 최적화의 약속을 이행하는 입증되고 생산 준비가 된 솔루션을 제공합니다.