멜라녹스 920-9B210-00FN-0D0 인피니밴드 스위치

인공지능 모델이 복잡해짐에 따라 GPU 클러스터와 고성능 컴퓨팅(HPC) 환경은 컴퓨팅 노드 간의 효율적인 통신에 점점 더 의존하게 됩니다. 네트워크 대역폭, 지연 시간 및 혼잡 관리는 분산 워크로드 성능에 영향을 미치는 중요한 요소가 되었습니다. NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand 스위치는 이러한 까다로운 애플리케이션을 위한 고밀도 네트워킹 기반을 제공합니다.

NVIDIA Quantum-2 기술로 구동되는 QM9790은 최대 400Gb/s로 작동하는 64개의 NDR 포트와 최대 51.2Tb/s의 집계 양방향 스위칭 용량을 제공합니다. 이 문서는 대표적인 다중 랙 AI 및 HPC 배포 시나리오를 검토하여 920-9B210-00FN-0D0가 조직이 RDMA 통신을 최적화하고, 패브릭 확장성을 개선하며, 네트워크 관련 성능 제한을 줄이는 데 어떻게 도움이 되는지 강조합니다.

01. 배경 및 과제: AI 및 HPC 클러스터의 네트워크 병목 현상

대규모 언어 모델 학습, 과학 시뮬레이션 및 분산 데이터 처리를 위해 여러 랙의 GPU 서버를 운영하는 데이터 센터를 고려하십시오. 추가 컴퓨팅 노드가 배포됨에 따라 집계 통신, 매개변수 동기화 및 원격 데이터 액세스에서 발생하는 트래픽 양이 크게 증가합니다.

최신 GPU는 상당한 컴퓨팅 기능을 제공하지만, 불충분한 상호 연결 성능은 애플리케이션이 사용 가능한 리소스를 완전히 활용하지 못하게 할 수 있습니다. 이 환경에서 네트워크 설계자는 일반적으로 몇 가지 중요한 과제에 직면합니다:

• 대역폭 제한: 대규모 GPU 워크로드는 지속적인 데이터 교환을 요구하며, 저속 상호 연결을 압도할 수 있습니다.
• 통신 지연: 빈번한 동기화 작업은 분산 컴퓨팅 노드 간의 대기 시간을 증가시킬 수 있습니다.
• 네트워크 혼잡: 여러 서버 간의 동시 통신은 핫스팟과 일관되지 않은 애플리케이션 성능을 유발할 수 있습니다.
• 확장성 과제: 클러스터 크기 확장은 스위치 용량, 네트워크 토폴로지 및 케이블링 인프라에 대한 신중한 계획이 필요합니다.
• 운영 복잡성: 안정적인 패브릭 관리, 장애 가시성 및 구성 일관성을 유지하는 것이 점점 더 중요해집니다.

이러한 과제는 고속 InfiniBand 네트워크가 긴밀하게 결합된 컴퓨팅 워크로드에 여전히 중요한 이유를 보여줍니다. 920-9B210-00FN-0D0 InfiniBand 스위치 OPN은 고대역폭, 저지연 상호 연결 아키텍처를 구축하는 데 필요한 하드웨어 기능을 제공합니다.

02. 솔루션 아키텍처: NVIDIA Quantum-2 NDR InfiniBand 스위치 배포

920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR 스위치는 상당한 대역폭과 효율적인 통신을 요구하는 고성능 컴퓨팅 패브릭을 위해 설계되었습니다. 64개의 NDR 포트를 제공하는 32개의 물리적 OSFP 커넥터를 특징으로 하는 이 1U 시스템은 GPU 서버, 네트워크 스위치 및 기타 InfiniBand 장치 간의 밀집된 상호 연결을 지원합니다.

대표적인 다중 랙 구현에서 QM9790 스위치는 리프-스파인 InfiniBand 토폴로지 내에 배치될 수 있습니다. 호환되는 NVIDIA ConnectX 어댑터가 장착된 GPU 서버는 리프 스위치에 연결되고, 스파인 스위치는 랙 간 연결을 제공합니다. 스위치 수, 업링크 및 네트워크 계층은 클러스터 크기, 대역폭 요구 사항 및 선택된 오버서브스크립션 비율에 따라 달라집니다.

RDMA 및 저지연 데이터 통신

원격 직접 메모리 액세스(RDMA)는 호환되는 컴퓨팅 시스템이 CPU 개입을 줄여 등록된 메모리 영역 간에 데이터를 직접 전송할 수 있도록 합니다. 분산 GPU 환경에서 이는 기존의 소프트웨어 중심 네트워크 경로에 비해 통신 오버헤드를 줄이고 데이터 이동 효율성을 향상시키는 데 도움이 될 수 있습니다.

Quantum-2 InfiniBand 패브릭은 적응형 라우팅, 혼잡 제어 및 NVIDIA SHARP 인네트워크 컴퓨팅을 포함한 RDMA 기반 통신 및 고급 네트워킹 기능을 지원합니다. 적절하게 구성되고 애플리케이션 스택에서 지원될 때 이러한 기술은 집계 작업을 최적화하고, 혼잡 관련 지연을 줄이며, 네트워크 리소스 활용도를 향상시키는 데 도움이 될 수 있습니다.

패브릭 관리 및 호환성 계획

QM9790은 내부 관리되는 QM9700과 달리 외부 관리 InfiniBand 스위치입니다. 따라서 배포에는 적절한 외부 서브넷 관리 및 운영 모니터링이 필요합니다. NVIDIA Unified Fabric Manager(UFM)는 지원되는 경우 중앙 집중식 패브릭 가시성 및 관리 기능을 제공하기 위해 통합될 수 있습니다.

920-9B210-00FN-0D0 호환 어댑터 및 상호 연결 구성 요소를 평가하는 엔지니어는 호스트 어댑터 기능, 펌웨어 상호 운용성, 승인된 케이블 및 커넥터 구성을 확인해야 합니다. 920-9B210-00FN-0D0 모델은 전방 공기 흐름, 전원-커넥터(P2C) 구성에 해당하며, 이는 데이터 센터 냉각 설계와도 일치해야 합니다.

03. 예상 결과 및 운영 이점

적절하게 설계된 NDR InfiniBand 네트워크를 구현한 후 조직은 통신 효율성, 리소스 활용도 및 패브릭 확장성 개선을 목표로 할 수 있습니다. 실제 성능 향상은 워크로드 특성, 서버 하드웨어, 네트워크 토폴로지, 소프트웨어 구성 및 원래 네트워크 병목 현상에 따라 달라집니다.

객관적인 성능 평가를 위해 네트워크 엔지니어는 마이그레이션 전에 기준선을 설정하고 배포 후 제어된 테스트를 수행해야 합니다. 유용한 검증 도구에는 InfiniBand 성능 유틸리티, NCCL 테스트 및 MPI 기반 애플리케이션 벤치마크가 포함됩니다.

권장 측정 항목에는 유효 처리량, 점대점 지연 시간, 집계 통신 성능, 링크 오류 카운터, 혼잡 지표 및 종단 간 워크로드 완료 시간이 포함됩니다. 대표적인 부하 조건에서 P50, P95 및 P99 지연 시간을 비교하는 것도 평균값이 숨길 수 있는 성능 일관성 문제를 식별하는 데 도움이 될 수 있습니다.

고정 백분율 개선을 가정하는 대신, 업그레이드된 네트워크가 측정 가능한 통신 병목 현상을 줄이고 실제 프로덕션 워크로드에서 컴퓨팅 리소스가 더 효율적으로 작동하도록 하는지 여부를 결정하는 것이 목표입니다.

04. 기술 사양 및 제품 선택

NVIDIA Mellanox 920-9B210-00FN-0D0은 NVIDIA Quantum-2 QM9790 제품군에 속합니다. 다음 사양은 인프라 설계 및 제품 조달을 위한 참조를 제공합니다.

920-9B210-00FN-0D0 데이터시트를 검토하거나 배포 옵션을 비교할 때 IT 팀은 스위치 용량뿐만 아니라 전체 솔루션을 평가해야 합니다. 케이블링 설계, 어댑터 호환성, 외부 서브넷 관리, 랙 공기 흐름 및 향후 클러스터 확장을 함께 고려해야 합니다.

05. 결론 및 향후 전망

920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR 스위치는 AI 및 HPC 네트워크 인프라를 현대화하려는 조직에게 강력한 기반을 제공합니다. 고속 InfiniBand 연결과 고급 Quantum-2 네트워킹 기능을 결합하여 효율적인 RDMA 통신과 확장 가능한 분산 컴퓨팅 아키텍처를 지원합니다.

AI 모델이 더 커지고 GPU 클러스터가 더 많은 컴퓨팅 노드로 확장됨에 따라 네트워킹 하드웨어, 패브릭 관리 및 소프트웨어 통신의 조정된 최적화는 계속해서 필수적일 것입니다. 920-9B210-00FN-0D0 InfiniBand 스위치 OPN 솔루션은 변화하는 워크로드 요구 사항에 맞춰 발전할 수 있는 고성능, 저지연 상호 연결 설계를 위한 실용적인 빌딩 블록을 제공합니다.