NVIDIA Mellanox MQM8790-HS2F 기술 솔루션: RDMA/HPC/AI 클러스터를 위한 저연속 상호 연결 최적화

이 기술 솔루션은 네트워크 아키텍트, 사전 영업 엔지니어 및 운영 리더를 위해 설계되었습니다. 이 솔루션은 고성능 InfiniBand 패브릭을 중심으로 구축, 배포 및 운영하기 위한 포괄적인 가이드를 제공하며, 를 중심으로 RDMA 집약적인 HPC 및 AI 학습 클러스터를 대상으로 합니다.

현대의 AI 학습 및 과학 컴퓨팅 클러스터는 네트워크 상호 연결이 주요 성능 병목 현상으로 점점 더 많이 직면하고 있습니다. 기존 이더넷 패브릭은 혼잡 제어, 지연 시간, CPU 오프로드 기능에 어려움을 겪으며 All-Reduce 및 All-to-All과 같은 분산 학습 통신 패턴의 요구 사항을 충족하지 못합니다. 주요 요구 사항에는 다음이 포함됩니다."마이크로초 미만의 종단 간 지연 시간", "무손실, 드롭 없는 전송", "GPU Direct RDMA 지원", 그리고 "수천 개의 노드로 선형 확장"하는 기능입니다. 이러한 상호 연결 효율성 문제를 근본적으로 해결하려면 전용 InfiniBand 스위칭 아키텍처가 필요합니다.2. 전체 네트워크/시스템 아키텍처 설계이 솔루션은 비차단, 전체 이분산 대역폭을 달성하기 위해 2계층 Fat-Tree 토폴로지를 권장합니다. 리프 및 스파인 계층 모두

를 사용하며, 이는 200Gb/s HDR QSFP56 포트 40개를 제공합니다. 512 노드 클러스터를 예로 들어 설계는 다음과 같습니다.리프 계층: 각 MQM8790-HS2F는 20개의 컴퓨팅 노드(듀얼 업링크)와 스파인 계층으로 8개의 업링크를 연결합니다.

• 스파인 계층: 8개의 MQM8790-HS2F 스위치가 스파인 플레인을 형성하며, 모든 리프와 모든 스파인 스위치 간에 완전 메시 연결이 이루어집니다.
• 스토리지 및 관리 네트워크: 컴퓨팅 트래픽에 간섭하지 않도록 별도의 InfiniBand 서브넷 또는 대역 외 이더넷을 사용합니다.
• 이 아키텍처는 모든 두 노드 간에 200Gb/s 대역폭을 보장하며, 여러 개의 중복 경로를 통해 단일 장애 지점이 전역 연결에 영향을 미치지 않도록 합니다. MQM8790-HS2F 200Gb/s HDR 40포트 QSFP56

의 높은 포트 밀도는 이전 세대 EDR 솔루션에 비해 필요한 스위치 수를 50% 줄이고 패브릭 복잡성을 낮춥니다.3. NVIDIA Mellanox MQM8790-HS2F의 역할 및 주요 기능이 솔루션에서

은 검증되고 프로덕션 준비가 된 참조 설계를 제공합니다.: InfiniBand 링크 계층 흐름 제어는 패킷 손실을 제거하여 RDMA 전송 효율성을 보장합니다.

• 적응형 라우팅: 여러 경로에 걸쳐 트래픽을 동적으로 균형을 맞춰 혼잡 핫스팟을 피하고 유효 처리량을 향상시킵니다.
• SHARPv3 인네트워크 컴퓨팅: 스위치로 축소 작업을 오프로드하여 All-Reduce를 2~3배 가속합니다.
• 높은 밀도 및 저전력: 200Gb/s에서 40개의 포트와 업계 최고의 포트당 전력 소비로 TCO를 절감합니다.
• MQM8790-HS2F 데이터시트 및

MQM8790-HS2F 사양NVIDIA Mellanox MQM8790-HS2FMQM8790-HS2F 호환 에코시스템의 성숙도를 검증합니다.4. 배포 및 확장 권장 사항 (일반적인 토폴로지 포함)솔루션을 배포할 때 다음 단계를 따르십시오.서브넷 관리

파티션 및 서비스 수준

• : 파티션 키(P_Key)를 사용하여 테넌트 또는 워크로드를 격리합니다. AI 학습 트래픽을 우선 순위 지정하기 위해 SL2VL 매핑을 구성합니다.케이블 선택
• : 짧은 거리(3m 이하)에는 패시브 구리 케이블을 사용하고, 더 긴 경로에는 신호 무결성을 유지하기 위해 액티브 광 케이블 또는 트랜시버를 사용합니다.2,000개 이상의 노드를 초과하는 더 큰 클러스터의 경우 3계층 Fat-Tree 또는 Dragonfly+ 토폴로지를 채택할 수 있으며, 코어 계층은 계속해서
• MQM8790-HS2F를 빌딩 블록으로 사용합니다. 추가 장치를 구매할 때는 공인 유통 업체를 통해

MQM8790-HS2F 가격 및 가용성을 확인하십시오. 검증된 판매용 MQM8790-HS2F 목록에는 일반적으로 최신 펌웨어 및 보증이 포함됩니다. MQM8790-HS2F InfiniBand 스위치 솔루션은 부서별 AI 연구부터 엑사스케일 슈퍼컴퓨팅 센터까지 원활하게 확장됩니다.5. 운영, 모니터링, 문제 해결 및 최적화모니터링

ibnetdiscover

• 를, 포트 카운터에는 perfquery를, 실시간 혼잡 가시성에는 UFM 원격 측정을 사용합니다.일반적인 문제 및 해결 방법: 링크 플래핑
• : 케이블 연결을 확인하고 케이블 진단 테스트를 실행합니다. 결함이 있는 광학 장치를 교체합니다.서브넷 관리자 장애 조치
  • : SM 우선 순위가 올바르게 구성되었는지, 보조 SM에 유효한 데이터베이스가 있는지 확인합니다.불균등한 적응형 라우팅
  • : 라우팅 알고리즘 매개변수(예: routing_engine=ftree
  • )를 조정하고 로드 분산을 활성화합니다.최적화 팁: 집계 작업을 위해 SHARP 집계를 활성화합니다. 대용량 메시지 전송을 위해 MTU를 4096 바이트로 조정합니다. 품질 서비스(QoS)를 사용하여 제어, 데이터 및 관리 트래픽을 분리합니다.NVIDIA 지원 포털을 통한 정기적인 펌웨어 업그레이드는 보안 패치 및 성능 향상을 보장합니다. 정상 상태에서의 자세한 성능 기준선 및 예상 카운터 값은
• MQM8790-HS2F 데이터시트를 참조하십시오.

6. 요약 및 가치 평가NVIDIA Mellanox MQM8790-HS2F는 RDMA/HPC/AI 클러스터 상호 연결의 핵심 과제인 지연 시간, 손실, CPU 오버헤드 및 확장성 문제를 해결하는 미래 지향적인 InfiniBand 스위칭 플랫폼을 제공합니다. 위에서 설명한 2계층 Fat-Tree 아키텍처를 구현함으로써 조직은 선형 성능 확장, 예측 가능한 작업 완료 시간 및 레거시 이더넷 솔루션에 비해 크게 감소된 TCO를 달성할 수 있습니다. 이 스위치의 200Gb/s HDR 속도, 40포트 밀도 및 인네트워크 컴퓨팅 기능 조합은 신규 구축 또는 EDR/HDR 패브릭에서 단계적 업그레이드에 이상적인 선택입니다. 차세대 클러스터를 평가하는 아키텍처 팀에게

은 검증되고 프로덕션 준비가 된 참조 설계를 제공합니다.