NVIDIA 멜라노크스 MQM8790-HS2F 인피니밴드 스위치 기술 참조

May 27, 2026

이 기술 백서는 네트워크 설계자, 사전 판매 엔지니어 및 운영 책임자를 대상으로 작성되었습니다. 을 중심으로엔비디아 멜라녹스 MQM8790-HS2FInfiniBand 스위치는 RDMA 가속 및 결정론적 저지연 통신에 중점을 두고 대규모 AI 교육 및 HPC 시뮬레이션을 제공하는 고성능 패브릭을 설계, 배포 및 운영하기 위한 자세한 참조를 제공합니다.

1. 프로젝트 배경 및 요구사항 분석

최신 AI 및 HPC 워크로드는 GPU 클러스터를 수만 개의 노드로 이끌고 있습니다. RoCE를 사용하더라도 기존 이더넷 패브릭은 인캐스트 패턴에서 성능 불일치를 나타내며 더 높은 CPU 오버헤드로 인해 어려움을 겪습니다. 차세대 클러스터 상호 연결의 주요 요구 사항은 다음과 같습니다.

동기화된 집합 작업을 위한 1마이크로초 미만의 지점 간 지연 시간
무손실, 정체 없는 전송으로 테일 타임아웃 낙오자를 방지합니다.
CPU/GPU 코어에서 통신 처리의 전체 오프로드
비차단 대역폭을 갖춘 확장 가능한 fat-tree 또는 잠자리+ 토폴로지
기존 100G/200G 광학 장치에서 비용 효율적인 마이그레이션 경로

이러한 요구를 해결하기 위해,MQM8790-HS2F InfiniBand 스위치포트당 200Gb/s HDR, 장치당 40개의 QSFP56 포트, RDMA 및 네트워크 내 컴퓨팅에 대한 기본 지원을 제공합니다. 이 솔루션은 상호 연결 효율성이 작업 완료 시간 및 TCO로 직접적으로 전환되는 환경을 위해 특별히 구축되었습니다.

2. 전체 네트워크 및 시스템 아키텍처 설계

AI/HPC 클러스터에 권장되는 물리적 토폴로지는엔비디아 멜라녹스 MQM8790-HS2F2층 또는 3층 지방나무(잎 가시라고도 함)입니다. 각 리프 스위치는 HDR 또는 HDR100 링크를 통해 GPU 서버에 연결되며, 스파인 스위치는 리프 간 풀 메시 연결을 제공합니다. 일반적인 800-GPU 구성은 다음을 사용합니다.

리프 스위치 20개: 각각MQM8790-HS2F 200Gb/s HDR 40포트 QSFP56최대 20개의 서버 지원(이중 레일 연결)
스파인 스위치 4개: 200Gb/s 업링크를 사용하여 리프와 완전히 상호 연결됨
각 계층에서 1:1의 비차단 비율

대규모 클러스터(2,000개 이상의 GPU)의 경우 3계층 아키텍처에 슈퍼 스파인 레이어가 추가됩니다. 모든 패브릭 관리는 전용 컨트롤러에서 실행되거나 소규모 패브릭용 스위치 펌웨어에 내장된 SM(Subnet Manager)에 의해 처리됩니다.

3. 솔루션에서 NVIDIA Mellanox MQM8790-HS2F의 역할 및 주요 기능

이 아키텍처 내에서는MQM8790-HS2F잎과 척추 요소 역할을 합니다. 핵심 차별화 요소는 다음과 같습니다.

포트당 200Gb/s HDR:16Tb/s 총 비차단 스위칭 용량을 갖춘 전체 양방향 처리량
적응형 라우팅(AR):핫스팟을 방지하기 위해 여러 경로에 걸쳐 트래픽을 동적으로 분산하며, 이는 뚱뚱한 나무 효율성에 중요합니다.
SHARPv2(확장 가능한 계층적 집계 및 축소 프로토콜):집단 작업(All-Reduce, Reduce-Scatter)을 스위치 네트워크로 직접 오프로드하여 GPU 유휴 시간을 줄입니다.
혼잡 제어:FECN/BECN 메커니즘을 통한 세밀한 흐름 제어로 무손실 패브릭 보장
높은 포트 밀도:1U 섀시당 40개의 QSFP56 포트로 랙 레이아웃을 단순화하고 랙 간 케이블 연결의 복잡성을 줄입니다.

엔지니어는 다음을 참조할 수 있습니다.MQM8790-HS2F 데이터시트그리고MQM8790-HS2F 사양자세한 전력, 열 및 대기 시간 수치를 확인하세요. 플랫폼은 또한MQM8790-HS2F 호환광범위한 HDR, HDR100, 심지어 EDR 광학 장치를 사용하여 점진적인 업그레이드가 가능합니다.

4. 배포 및 확장 권장 사항(일반적인 토폴로지 사용)

균형 잡힌 1,000-GPU AI 클러스터의 경우 다음 배포 순서가 권장됩니다.

1단계 - 나뭇잎 레이어:25x 설치MQM8790-HS2F리프 스위치로서의 장치. 중복성과 대역폭을 위해 2개의 HDR 포트를 통해 각 GPU 서버(서버당 8개의 GPU)를 2개의 다른 리프에 연결합니다.
2단계 - 척추 레이어:8배 배포엔비디아 멜라녹스 MQM8790-HS2F척추 스위치로. 200Gb/s 링크(리프당 업링크 40개, 일반적으로 차단 비율을 1:1 이하로 유지하기에 충분한 하위 집합)를 사용하여 모든 리프를 모든 스파인에 연결합니다.
3단계 – 서브넷 관리자 배치:두 개의 경량 서버에서 중복 SM 인스턴스를 실행하거나 2,000개 포트 미만의 클러스터에 내장형 SM을 사용하세요.
4단계 – 파티셔닝:InfiniBand 파티션을 사용하여 동일한 물리적 패브릭에서 프로덕션, 개발 및 스토리지 트래픽 흐름을 격리합니다.

2,500개 이상의 GPU로 확장하려면 추가 MQM8790-HS2F 장치를 사용하여 슈퍼 스파인 레이어를 추가하고 리프-스파인 업링크 밀도를 높이십시오. 그만큼MQM8790-HS2F InfiniBand 스위치 솔루션코어를 재설계하지 않고도 선형적으로 확장됩니다.

5. 운영, 모니터링, 문제 해결 및 최적화

기반으로 제작된 패브릭의 일상적인 작동MQM8790-HS2F스위치는 NVIDIA의 Fabric Manager 및 MLNX‑OS를 통해 관리됩니다. 주요 사례는 다음과 같습니다.

모니터링:토폴로지 검증에는 'ibdiagnet'을 사용하고, 포트 카운터에는 'perfquery'를 사용하고, 실시간 원격 측정(링크 활용도, 기호 오류, 정체 표시)에는 Prometheus 내보내기 기능이 있는 Grafana 대시보드를 사용하세요.
펌웨어 및 소프트웨어:모든 스위치에서 일관된 펌웨어를 유지합니다. 최신 릴리스 노트를 참조하세요.MQM8790-HS2F 데이터시트버전 호환성을 위해.
문제 해결:링크 플래핑, MTU 불일치, 파티션 구성 오류 등 일반적인 문제는 'ibstatus', 'smpquery' 및 스위치 syslog를 사용하여 신속하게 격리됩니다. 적응형 라우팅 로그는 정체 원인을 정확히 찾아낼 수 있습니다.
최적화:워크로드 프로파일링을 기반으로 적응형 라우팅 임계값과 정체 제어 매개변수를 조정합니다. 대규모 AI 교육의 경우 해당 MPI 라이브러리(예: SHARP 플러그인이 포함된 NCCL)에서 SHARP를 활성화합니다.

예산이나 증설을 계획할 때 요청하세요.MQM8790-HS2F 가격공인 파트너의 견적 및 확인MQM8790-HS2F 판매유효성. 플랫폼이 기존 QSFP56 케이블링과 호환되므로 조달 위험이 줄어듭니다.

6. 요약 및 가치 평가

그만큼MQM8790-HS2F단순한 스위치가 아닙니다. 결정적이고 지연 시간이 짧은 HPC 및 AI 패브릭을 위한 기본 빌딩 블록입니다. 200Gb/s HDR, 40포트 밀도, 적응형 라우팅, SHARP 네트워크 내 컴퓨팅의 조합은 최신 클러스터 상호 연결의 주요 문제점을 직접적으로 해결합니다. 대체 200G 이더넷 솔루션과 비교하여 InfiniBand 에코시스템은 다음을 제공합니다.

CPU 오버헤드 감소(하드웨어 전송 오프로드를 통한 진정한 RDMA)
실제 부하에서 결정적인 마이크로초 규모의 지연 시간
중앙 집중식 Subnet Manager를 통한 단순화된 패브릭 관리
수만 개의 엔드포인트에 대한 검증된 확장성

GPU 클러스터를 구축하거나 확장하는 조직의 경우엔비디아 멜라녹스 MQM8790-HS2F이는 달러당 더 높은 유효 FLOPS를 달성하고, 작업 완료 시간을 단축하며, 차세대 HDR200(400Gb/s) 업그레이드를 위한 상호 연결을 미래에도 보장한다는 의미입니다. 전체를 포함한 상세한 레퍼런스 디자인MQM8790-HS2F 사양및 케이블링 매트릭스는 NVIDIA 파트너 포털을 통해 제공됩니다.