NVIDIA Mellanox MQM8790-HS2F 인피니밴드 스위치

July 10, 2026

에 대한 최신 회사 뉴스 NVIDIA Mellanox MQM8790-HS2F 인피니밴드 스위치

NVIDIA Mellanox MQM8790-HS2F InfiniBand 스위치 실습 | RDMA/HPC/AI 클러스터를 위한 저지연 상호 연결 최적화

배경 및 과제: 대규모 AI 및 HPC 클러스터의 지연 시간 병목 현상

AI 훈련 클러스터가 수천 개의 GPU로 확장되고 HPC 시스템이 엑사급 성능을 추구함에 따라 컴퓨팅 노드를 연결하는 네트워크 패브릭이 중요한 성능 결정 요인이 되었습니다. 이러한 환경에서 대기 시간은 단순한 측정 기준이 아닙니다. 이는 애플리케이션 성능, 솔루션 출시 시간 및 전반적인 클러스터 효율성에 직접적인 영향을 미칩니다. MPI(Message Passing Interface) 집단 작업과 대규모 언어 모델 교육, 전산 유체 역학 등 전체 통신 패턴에 크게 의존하는 워크로드의 경우 마이크로초 수준의 대기 시간 증가도 몇 시간의 추가 런타임으로 이어질 수 있습니다. 기존 이더넷 네트워크는 RoCE(RDMA over Converged Ethernet)를 사용하더라도 이러한 까다로운 애플리케이션에 필요한 결정적이고 낮은 대기 시간을 제공하는 데 어려움을 겪는 경우가 많습니다.

최근 기후 모델링 및 AI 연구를 위해 2,000노드 HPC 클러스터를 배포하는 국립 연구소에서 이러한 문제에 직면했습니다. 클러스터에는 MPI 기반 HPC 워크로드와 분산 AI 교육을 모두 지원하기 위해 지연 시간이 100나노초 미만인 200Gb/s 연결이 필요했습니다. 엔지니어링 팀은 다양한 부하 조건에서 패브릭 효율성을 유지하기 위해 적응형 라우팅 및 정체 제어와 같은 고급 기능을 지원하면서 일관되고 대기 시간이 짧은 성능을 대규모로 제공할 수 있는 스위치가 필요했습니다. 그만큼엔비디아 멜라녹스 MQM8790-HS2F100나노초 미만의 대기 시간과 고급 네트워크 내 컴퓨팅 기능을 갖춘 200Gb/s HDR InfiniBand 포트 40개를 제공하는 이상적인 솔루션으로 부상했습니다.

솔루션 및 배포: 대기 시간이 짧은 InfiniBand 패브릭 구축

대기 시간 및 확장성 문제를 해결하기 위해 실험실에서는 다음을 배포했습니다.엔비디아 멜라녹스 MQM8790-HS2F스파인 리프 패브릭 아키텍처의 코어 스위치로 사용됩니다. 이것MQM8790-HS2F InfiniBand 스위치각각 200Gb/s HDR에서 작동하는 40개의 QSFP56 포트를 제공하여 100나노초 미만의 포트 간 대기 시간으로 총 스위칭 용량 8Tb/s를 제공합니다. 패브릭은 4-스파인, 16-리프 토폴로지로 설계되었으며 각각 ConnectX-6 HDR 어댑터가 장착된 2,000개의 컴퓨팅 노드를 연결합니다. 그만큼MQM8790-HS2F 200Gb/s HDR 40포트 QSFP56구성을 통해 팀은 전체 양분 대역폭을 갖춘 비차단 패브릭을 구축하여 모든 노드가 다른 모든 노드와 유선 속도로 통신할 수 있도록 했습니다.

배포는 세 가지 주요 단계로 실행되었습니다.

  • 직물 디자인:사용하여MQM8790-HS2F InfiniBand 스위치 솔루션, 팀은 16개의 리프 스위치 각각이 50개의 컴퓨팅 노드(200Gb/s 직접 연결과 100Gb/s HDR100 브레이크아웃 연결의 조합 사용)에 연결되고 4개의 스파인 스위치가 리프 간 연결을 제공하는 스파인 리프 토폴로지를 설계했습니다. 그만큼MQM8790-HS2F스위치는 적응형 라우팅이 활성화되도록 구성되어 패브릭이 사용 가능한 경로에 걸쳐 트래픽을 동적으로 분산하고 혼잡 지점을 피할 수 있도록 했습니다.
  • 고급 기능 구성:팀은 MQM8790-HS2F 스위치에서 SHARP(Scalable Hierarchical Aggregation and Reduction Protocol)를 활성화하여 컴퓨팅 노드에서 MPI 집단 작업을 오프로드했습니다. 이 네트워크 내 컴퓨팅 기능을 통해 스위치는 전체 축소 및 브로드캐스트 작업을 직접 수행하여 네트워크 통과 횟수를 줄이고 집단 통신의 전체 대기 시간을 줄일 수 있었습니다.
  • 성능 튜닝:서브넷 관리는 패브릭 상태, 대기 시간 지표 및 정체 패턴에 대한 실시간 가시성을 제공하는 NVIDIA UFM(Unified Fabric Manager) 플랫폼을 사용하여 구성되었습니다. 팀은 혼합 HPC 및 AI 워크로드 프로필에 대한 성능을 최적화하기 위해 정체 제어 매개변수를 조정했습니다.

왜냐하면엔비디아 멜라녹스 MQM8790-HS2F~이다MQM8790-HS2F 호환ConnectX-6 및 BlueField-2 어댑터를 포함하여 더욱 폭넓은 NVIDIA InfiniBand 에코시스템을 사용하면 배포가 원활해지며 맞춤형 드라이버나 펌웨어 패치가 필요하지 않습니다. UFM 플랫폼과 스위치의 통합을 통해 팀은 대규모 패브릭 성능을 모니터링하고 잠재적인 병목 현상이 애플리케이션 런타임에 영향을 미치기 전에 이를 식별하고 해결할 수 있었습니다.

결과 및 이점: 지연 시간 및 애플리케이션 성능의 측정 가능한 개선

2,000개 노드 클러스터에 대한 배포 후 벤치마킹 결과 상당한 성능 개선이 나타났습니다. 첫째, 패브릭 전반에 걸친 평균 포트 간 지연 시간은 85나노초로 측정되었습니다. 이는MQM8790-HS2F 데이터시트. 이러한 낮은 대기 시간은 애플리케이션 성능 향상으로 직접적으로 이어졌습니다. MPI 전체 감소 작업은 연구소의 이전 100Gb/s InfiniBand 패브릭에 비해 최대 35% 더 빠르게 완료되었으며, 분산 AI 훈련 작업(NCCL 기반 통신 사용)은 엔드투엔드 에포크 시간이 약 28% 감소했습니다.

둘째, SHARP 네트워크 내 컴퓨팅 기능은 상당한 성능 이점을 제공했습니다. 집합 작업을 MQM8790-HS2F 스위치로 오프로드함으로써 클러스터는 통신 작업에 대한 CPU 및 GPU 사용률을 최대 20%까지 줄여 실제 계산을 위한 컴퓨팅 리소스를 확보했습니다. 이는 집단 커뮤니케이션이 전체 런타임의 30~40%를 차지할 수 있는 대규모 AI 교육에 특히 유용했습니다.

셋째, 적응형 라우팅 기능은 다양한 부하 조건에서 일관된 성능을 유지하는 데 중요한 것으로 입증되었습니다. 최대 사용 기간 동안 패브릭이 MPI와 AI 트래픽의 혼합을 처리할 때 적응형 라우팅은 사용 가능한 경로 전체에 트래픽을 동적으로 분산시켜 평균 대기 시간을 기준의 10% 이내로 유지하고 혼잡으로 인한 성능 저하를 방지합니다. 팀은 20개 스위치 전체에 걸쳐 대기 시간, 처리량 및 링크 활용도를 추적하는 실시간 대시보드를 제공하는 UFM 플랫폼을 사용하여 패브릭 상태를 모니터링했습니다.

넷째, 밀도MQM8790-HS2F 200Gb/s HDR 40포트 QSFP56스위치는 컴팩트한 패브릭 설치 공간을 가능하게 했습니다. 연구실에서는 이전 100Gb/s InfiniBand 인프라에 비해 필요한 스위치 수를 50% 줄여 랙 공간 소비와 전력 요구 사항을 줄였습니다. 각 MQM8790-HS2F는 230W 미만의 일반 전력을 소비하여 네트워킹 인프라의 냉각 비용을 20% 절감하는 데 기여했습니다.

운영 관점에서 볼 때 스위치의 관리 기능은 지속적인 유지 관리를 단순화했습니다. 연구소의 네트워크 팀은 CLI 및 웹 UI 인터페이스를 사용하여 패브릭 운영을 중단하지 않고 펌웨어 업그레이드 및 구성 변경을 수행하고 무중단 업그레이드에 대한 스위치 지원을 활용했습니다. 그만큼MQM8790-HS2F 사양SNMP 모니터링 및 syslog 통합을 포함한 포괄적인 관리 기능이 포함되어 있어 팀은 패브릭을 기존 NOC(네트워크 운영 센터) 모니터링 프레임워크에 통합할 수 있습니다.

요약 및 전망: 대기 시간이 짧은 InfiniBand 패브릭을 위한 청사진

배포 경험엔비디아 멜라녹스 MQM8790-HS2F2,000노드 HPC 및 AI 클러스터 전반에 걸쳐 40포트 200Gb/s HDR InfiniBand 스위치가 까다로운 연구 및 엔터프라이즈 워크로드에 필요한 짧은 대기 시간, 확장성 및 고급 기능을 제공할 수 있음을 분명히 보여줍니다. 스위치의 100나노초 미만 대기 시간, 적응형 라우팅, SHARP 네트워크 내 컴퓨팅 기능을 활용하여 조직은 MPI 및 AI 통신을 가속화하고 솔루션 구현 시간을 단축하며 전반적인 클러스터 효율성을 향상시키는 패브릭을 구축할 수 있습니다.

앞으로 AI 훈련 클러스터가 10,000개 이상의 GPU를 향해 계속 성장하고 HPC 시스템이 엑사스케일로 확장됨에 따라 고밀도, 낮은 지연 시간의 InfiniBand 스위치에 대한 수요는 계속 증가할 것입니다. MQM8790-HS2F는 40포트 밀도, 8Tb/s 스위칭 용량, HDR200 및 HDR100 속도 지원을 통해 현재 및 차세대 컴퓨팅 노드와의 호환성을 보장하므로 이러한 궤도에 적합합니다. 유사한 HPC 또는 AI 클러스터 배포를 계획하는 조직의 경우 이 배포에서 검증된 계층형 스파인 리프 접근 방식은 실용적인 로드맵을 제공합니다. 즉, 액세스 연결을 위해 MQM8790-HS2F 리프 스위치를 배포하고, 더 큰 패브릭을 위해 더 높은 포트 밀도 스파인 스위치(예: 64포트 QM9700 시리즈)를 사용하며, 사전 패브릭 최적화를 위해 UFM을 활용하는 통합 관리 프레임워크를 유지합니다.

자세한 패브릭 디자인 템플릿, 성능 조정 가이드 및 배포 체크리스트는 다음을 참조하세요.MQM8790-HS2F 데이터시트및 NVIDIA Mellanox InfiniBand 아키텍처 문서.