NVIDIA Mellanox MQM8790-HS2F InfiniBand 스위치 생산 중 | RDMA/HPC/AI를 위한 저지연 상호 연결 최적화

대규모 언어 모델 훈련과 초대 규모 HPC 시뮬레이션이 GPU 클러스터를 수만 개의 노드로 이끌면서 전통적인 이더넷 패브릭스는 꼬리 지연과 인카스트 혼잡으로 어려움을 겪습니다.국가 인공지능 컴퓨팅 센터는 최근NVIDIA 멜라노크스 MQM8790-HS2F인피니밴드 스위치는 800 노드 GPU 확장의 척추 역할을 한다.이 기사는 실제 세계에서의 그들의 여정을 안내합니다..

배경과 도전: 네트워크가 인공지능의 병목이 될 때

센터의 400-노드 클러스터는 100Gb/s RoCEv2 이더넷에서 실행되었다. CNN 모델에서 트리리언 파라미터 LLM로 작업 부하가 이동함에 따라 크로스-노드 통신 지연이 급증했다.모든 감소 작업 중에, 네트워크 대기 시간은 전체 반복 시간의 40% 이상을 소비했습니다. 건축가들은 미세 초 미만의 지연, 손실 없는 흐름 제어,그리고 네이티브 RDMA 지원 ̇ 기존 QSFP56 광학을 재사용하는 동시에여러 대안을 평가 한 후,MQM8790-HS2F 인피니밴드 스위치200Gb/s HDR 대역폭과 40포트 고밀도 디자인으로 돋보였습니다.

솔루션 및 배포: HDR FAT-Tree MQM8790-HS2F에 구축

새로운 인터 커넥트는 두 계층의 지방 나무 토폴로지를 채택하고,NVIDIA 멜라노크스 MQM8790-HS2F각 스위치는 각 방향으로 200Gb/s로 작동하는 40개의 QSFP56 포트를 제공하며, 16Tb/s의 비 차단 스위칭 용량을 제공합니다. 엔지니어들은MQM8790-HS2F 데이터 시트그리고MQM8790-HS2F 사양어댑티브 라우팅 및 고급 혼잡 제어를 가능하게 합니다. 모든 GPU 노드는 HDR ConnectX‐6 어댑터를 통해 연결됩니다.원본 인피니밴드 RDMA를 활용하여 데이터 전송의 복사본을 0으로 이동합니다. 통신에 CPU 참여의 95% 이상을 할인합니다..

이 센터는 또한 몇 가지MQM8790-HS2F 200Gb/s HDR 40-포트 QSFP56인시투 컴퓨팅 구역을 위한 단위들. SHARP (스케아블 히에라키컬 애그게레이션 앤 리듀션 프로토콜)All-Reduce와 같은 집단 작업은 서버에서 스위치 네트워크로 직접 전송됩니다.128GPU 훈련에서는 AI 프레임워크에 대한 코드 변경 없이 통신 시간을 32% 단축했습니다.

결과와 이득: 더 낮은 지연, 더 높은 처리량, 통제된 TCO

투입 후 측정은 극적인 개선이 나타났습니다.

• 점에서 점 사이의 지연시간:MPI 핑핑 테스트는 200Gb/s HDR 링크에서 ~0.9μs를 측정했습니다. 기존 RoCE 설정보다 65% 낮습니다.
• 집단 커뮤니케이션 효율성:512-GPU 규모에서, All-Reduce는 전 기준값에 비해 52% 감소한 18.3ms에 완료되었습니다.
• 네트워크 사용량:적응형 라우팅은 연결 부하 균형을 92% 이상 유지하며 거의 혼잡한 핫스팟이 없습니다.
• 조달 및 운영:의MQM8790-HS2F 가격포트당 약 12%가 경쟁 200G 솔루션보다 낮았습니다.MQM8790-HS2F 호환광학은 표준 QSFP56 모듈이며 기존 케이블을 완전히 재사용할 수 있습니다.

∙이곳으로 이사한 후MQM8790-HS2F 인피니밴드 스위치 솔루션, 우리는 마침내 트리리온 매개 변수 모델 훈련에서 거의 선형 확장 (0,9 효율) 을 달성했습니다. "센터의 수석 건축가.네트워크는 더 이상 병목이 아닙니다 우리는 통신 스케줄링 대신 모델 아키텍처 혁신에 집중할 수 있습니다."

결론과 전망: 엑사스케일 인터 커넥트의 핵심 빌딩 블록

이 실제 사례는MQM8790-HS2F더 높은 포트 밀도보다 훨씬 더 높습니다. 200Gb/s HDR, 네이티브 RDMA, SHARP 네트워크 컴퓨팅 및 적응 라우팅,현재 AI/HPC 클러스터의 낮은 지연성 상호 연결 문제점을 직접 해결합니다.대학 슈퍼 컴퓨팅 센터를 계획하든 기업 인공지능 클라우드를 업그레이드하든NVIDIA 멜라노크스 MQM8790-HS2F성능, 호환성 및 비용 예측성을 결합하는 균형 잡힌 경로를 제공합니다. 스위치는 이제 대량 생산 중입니다. 자세한 설계 참조를 위해 공식 요청MQM8790-HS2F 데이터 시트NVIDIA의 파트너 포털에서 실시간 재고 또는MQM8790-HS2F 판매문의, 가격 및 기술 지원을 위해 승인 된 솔루션 공급자와 연락하십시오.