Mellanox(NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand 스위치 작동 – 낮은 대기 시간 상호 연결 최적화
July 13, 2026
Mellanox(NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand 스위치 작동 – RDMA/HPC/AI 클러스터를 위한 낮은 대기 시간 상호 연결 최적화
한 지역 슈퍼컴퓨팅 센터는 최근 AI 컴퓨팅 인프라를 대대적으로 업그레이드하여 대규모 언어 모델 훈련 및 게놈 시퀀싱 워크로드를 지원하기 위해 NVIDIA A100 GPU를 64개에서 256개로 확장했습니다. 그러나 기존 100GbE RoCEv2 네트워크는 지속적인 병목 현상이 발생했습니다. 빈번한 PFC 스톰, 예측할 수 없는 꼬리 지연 시간, 복잡한 ECN 튜닝으로 인해 상당한 엔지니어링 노력이 필요했고 작업 완료 시간이 40% 이상 연장되었습니다. 이 사례 연구에서는 센터가 어떻게 배포했는지 살펴봅니다.멜라녹스(NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand 스위치는 패브릭을 변환하여 RDMA 집약적 애플리케이션을 위한 결정론적 저지연 상호 연결을 제공합니다.
배경 및 과제 – 이더넷 천장
센터의 초기 아키텍처는 RoCEv2가 포함된 2개의 100GbE 리프 스위치를 사용하여 GPU 서버와 병렬 파일 시스템을 연결했습니다. 훈련 작업이 확장됨에 따라 네트워크에는 세 가지 중요한 문제가 나타났습니다. 첫째, PFC(우선순위 흐름 제어) 교착 상태가 매일 발생하여 수동 재설정이 필요했습니다. 둘째, 올리듀스 집합 작업에서는 200μs를 초과하는 테일 지연 시간이 발생하여 GPU 활용도가 직접적으로 느려졌습니다. 셋째, 문제 해결에는 심층적인 패킷 검사가 필요했는데, 이는 시간이 많이 걸리고 결론을 내리는 경우가 거의 없었습니다. 운영팀은 이더넷이 RDMA 확장을 사용하더라도 차세대 AI 워크로드에 필요한 무손실 결정성 패브릭을 제공할 수 없다는 것을 깨달았습니다.
솔루션 및 배포 –920-9B110-00FH-0D0 InfiniBand 스위치 OPN새로운 백본으로
여러 옵션을 평가한 후 센터에서는 해당 옵션을 선택했습니다.엔비디아 멜라녹스 920-9B110-00FH-0D0스위치를 기반으로920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR플랫폼. 배포에는 2계층 fat-tree 토폴로지가 사용되었습니다.920-9B110-00FH-0D0리프로 스위치(각각 200G 링크를 통해 64개의 GPU 노드 연결)로 전환하고 스파인으로 2개의 추가 유닛을 제공하여 전체 이등분 대역폭을 제공합니다. 스위치는 기존 ConnectX-6 HDR 어댑터와 페어링되어920-9B110-00FH-0D0 호환원활한 통합을 보장하는 생태계입니다. 주요 배포 결정에는 다음이 포함됩니다.
- 케이블링:최대 100미터의 스파인-리프 거리를 위한 200G HDR 광학 모듈과 랙 내 연결을 위한 패시브 DAC가 포함되어 있습니다.
- 관리:자동화된 토폴로지 검색, 적응형 라우팅 정책 및 실시간 원격 측정을 위한 NVIDIA UFM(Unified Fabric Manager).
- 집단 오프로드:SHARPv2를 사용하면 전체 축소 작업을 가속화하고 호스트 CPU에서 작업을 오프로드하며 네트워크 채팅을 줄일 수 있습니다.
팀은 다음을 참조했습니다.920-9B110-00FH-0D0 데이터시트그리고920-9B110-00FH-0D0 사양전력 및 냉각 요구 사항을 검증하기 위해 스위치의 1U 폼 팩터와 포트당 200G 밀도는 추가적인 인프라 변경 없이 기존 랙에 딱 맞습니다. 그만큼920-9B110-00FH-0D0 InfiniBand 스위치 OPN 솔루션또한 정확한 OPN(주문 부품 번호)을 통해 올바른 구성을 보장하므로 조달이 단순화됩니다.
측정된 결과 및 이점 – 정량화 가능한 성능 향상
2주간의 배포 및 검증 후에 센터에서는 핵심 성과 지표 전반에 걸쳐 상당한 개선이 이루어졌다는 사실을 문서화했습니다. 다음 표에는 대표적인 256-GPU 훈련 작업(BERT-대규모 사전 훈련)에 대한 전후 지표가 요약되어 있습니다.
| 미터법 | 이전(RoCEv2) | 이후 (920-9B110-00FH-0D0) |
|---|---|---|
| 전체 감소 지연 시간(평균) | ~24μs | ~9μs |
| 꼬리 지연 시간(99.9번째 백분위수) | > 250μs | ~18μs |
| 효과적인 GPU 활용 | ~68% | ~89% |
| 작업 완료 시간(평균) | 기준선 | -36%(1.56배 더 빠름) |
| 네트워크 관련 사고(주간) | 8~12 | 0 |
숫자 외에도 팀은 다음과 같이 보고했습니다.엔비디아 멜라녹스 920-9B110-00FH-0D0제로 패킷 드롭 패브릭을 제공하여 이전에 PFC 복구에 필요했던 수동 개입을 완전히 제거했습니다. 에서 제공하는 내장 원격 측정920-9B110-00FH-0D0 InfiniBand 스위치 OPN운영 직원에게 흐름별 정체 및 경로 활용도에 대한 세부적인 가시성을 제공하여 사전 예방적인 용량 계획을 가능하게 했습니다. 추가적으로,920-9B110-00FH-0D0 가격400G NDR 스위치로 업그레이드하는 것에 비해 비용 효율성이 입증되어 센터의 중급 예산에 이상적입니다.
요약 및 전망 – 지연 시간이 짧은 상호 연결을 향한 검증된 경로
슈퍼컴퓨팅 센터의 경험은멜라녹스(NVIDIA Mellanox) 920-9B110-00FH-0D0어려움을 겪고 있는 이더넷 패브릭과 값비싼 고급 솔루션에 대한 실용적인 고성능 대안을 제공합니다. 200Gb/s HDR 처리량, 10μs 미만의 평균 대기 시간, 무손실 RDMA 전송을 제공하는 이 스위치를 통해 조직은 GPU 투자의 잠재력을 최대한 활용하여 AI 및 HPC 워크로드에 대한 통찰력을 얻는 시간을 단축할 수 있습니다.
센터는 앞으로 동일한 기술을 사용하여 패브릭을 512 GPU로 확장할 계획입니다.920-9B110-00FH-0D0 InfiniBand 스위치 OPN 솔루션, 기존 스파인 인프라를 유지하면서 추가 리프 스위치를 추가하여 확장합니다. 향후 NVIDIA 어댑터(ConnectX-7 포함)와의 스위치 호환성은 원활한 업그레이드 경로를 보장합니다. 유사한 업그레이드를 평가하는 조직의 경우920-9B110-00FH-0D0 사양그리고920-9B110-00FH-0D0 데이터시트필요한 모든 설계 매개변수를 제공하고 장치를 쉽게 사용할 수 있습니다(920-9B110-00FH-0D0 판매승인된 채널을 통해).
이 실제 배포를 통해 다음이 확인되었습니다.920-9B110-00FH-0D0이는 단순한 제품 그 이상입니다. 이는 지연 시간이 짧고 효율성이 높은 클러스터 네트워킹을 위한 검증된 지원 장치로서 향후 10년간의 AI 및 과학 컴퓨팅 요구 사항을 충족할 준비가 되어 있습니다.