실전: NVIDIA Mellanox 920-9B210-00FN-0D0을 이용한 초매개변수 MoE 모델을 위한 NDR 저지연 패브릭 구축

NVIDIA Mellanox 920-9B210-00FN-0D0 실무: 트리리온 매개 변수 MoE 모델에 대한 NDR 저연속 팩브릭 구축

배경 과 도전: 모든 사람 에게 모든 것 이 훈련 의 병목 이 될 때

주요 인공지능 연구 조직은 최근 큰 언어 모델 훈련 클러스터를 1,024에서 4,096 NVIDIA H100 GPU로 확장했으며, 1.8조 매개 변수 분산 MoE (전문가들의 혼합) 모델은 몇 달에서 2주 이하로하지만 초기 검증 중에 the team discovered that their existing 200Gb/s HDR network was experiencing severe congestion during the all-to-all communication phase—a characteristic pattern of MoE architectures—causing GPU utilization to plummet from an expected 85% to just 52%, 교육 기간을 충족하는 데 필요한 임계보다 훨씬 낮습니다.

네트워크 분석에 따르면 모든 집단 커뮤니케이션이 MOE 모델의 커뮤니케이션 발자국 중 40% 이상을 차지하고 전문가의 수가 증가함에 따라교통 패턴은 점점 더 분산되고 찢어지게되었습니다.기존 HDR 네트워크는 혼잡 제어 메커니즘을 활성화 한 후, 꼬리 지연 시간이 급격히 증가하여 GPU의 상당 부분이 비활성화되어 기다리고 있습니다.조직은 긴급히 결정적인 미세초 이하의 지연을 제공할 수 있는 네트워크 조직이 필요했습니다., 손실 없는 운송, 막지 않는 대규모 확장성NVIDIA 멜라노크스 920-9B210-00FN-0D0바로 이 도전을 위해 고안되었습니다.

솔루션 및 배포: MoE 최적화된 NDR 잎 척추 구조

조직은 두 층의 잎 척추 조직을 배치했습니다920-9B210-00FN-0D0 InfiniBand 스위치 OPN각 컴퓨터 래크에 2개920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR스위치는 OSFP에서 OSFP 활성 광 케이블을 통해 64 개의 듀얼 포트 H100 서버에 400Gb/s 연결을 제공하는 잎 계층에 배치되었습니다.16 추가 920-9B210-00FN-0D0 스위치 상호 연결 모든 잎 스위치, 51.2 Tb/s의 합계 빗방울 광역폭을 가진 완전히 차단되지 않은 지방 나무 조직을 만듭니다.

이 솔루션의 중심은 스위치의 통합 SHARPv3 (스케아블 히라르키컬 집계 및 감소 프로토콜) 기술입니다.모든 통신은 스위치 조직에 직접 오프로드되었습니다, 스위치가 네트워크 내 데이터 감축 및 재배포를 수행합니다. 이것은 여러 호스트 측 패스의 필요성을 제거합니다.이전 HDR 배포를 괴롭혔던 통신 전반적인 비용을 크게 줄였습니다..920-9B210-00FN-0D0 데이터 시트100ns 이하의 절단 지연을 강조합니다. 이는 개념 증명 단계에서 검증되었으며 MoE 작업 부하의 엄격한 지연 요구 사항에 매우 중요하다는 것을 입증했습니다.

의920-9B210-00FN-0D0 사양이중 리던던트 전원 공급 장치와 핫스?? 핑 밸런을 포함한 엑스포는 팀의 99.999% 가용성 목표를 달성하는 데 자신감을 주었다.920-9B210-00FN-0D0 호환이 생태계는 이미 자격을 갖춘 OSFP 광학과 케이블을 모두 포함시켰고, 조달 지연을 제거하고 배포 시기를 단순화했습니다.

결과와 측정 가능한 이득: 곤경에서 지원자로

NDR 조직이 완전히 배포되고 MOE 교육 작업이 재개 된 후 조직은 여러 차원에서 변화적 인 개선을 측정했습니다.

• GPU 사용량 복구:평균 GPU 사용률은 52%에서 89%로 증가했으며, 최고 사용률은 컴퓨팅이 많은 단계에서 94%에 달합니다. 네트워크로 인한 스탠을 제거하는 직접적인 결과입니다.
• 모든 게 모든 게 Latency 감소:4,096개의 GPU에서 모든 것을 완전히 교환하는 데 필요한 시간은 180ms에서 45ms 이하로 떨어졌습니다. 75%의 향상으로 더 빠른 훈련 반복으로 직접 번역되었습니다.
• 작업 완료 시간:1.8T MoE 모델의 예상 교육 기간은 14일에서 9일로 줄었습니다. 36%의 가속도로 시장 진출 시간과 클라우드 컴퓨팅 비용을 크게 절감했습니다.
• 운영 효율성:스위치당 64개의 포트를 사용하면 40개의 포트 HDR 디자인에 비해 필요한 스핀 스위치 수가 37% 감소하여 케이블링을 단순화하고 랙당 전력 소비를 28% 줄였습니다.

전체 소유 비용 관점에서, 조직의 금융 팀은920-9B210-00FN-0D0 가격단위당 HDR 대안보다 높았을 때, GPU 단위당 네트워크 비용은 더 높은 라디크스 및 스위치 계층 수 감소로 인해 실제로 감소했습니다.극적인 성능 향상과 함께, NDR 업그레이드를 명확한 비즈니스 승리로 만들었습니다.920-9B210-00FN-0D0 InfiniBand 스위치 OPN 솔루션또한 기존의 NVIDIA UFM 배포와 원활하게 통합하여 중앙 집중식 가시성과 자동 알림을 제공하여 운영 비용을 40% 줄였습니다.

요약 및 전망: 다음 세대 MOE 작업 부하를위한 NDR 재단

의NVIDIA 멜라노크스 920-9B210-00FN-0D0이 인공지능 연구 조직이 필요로 하는 변화의 해결책으로 밝혀졌습니다.그리고 SHARPv3 네트워크 컴퓨팅, 이 전환은 이전 HDR 인프라에서 불가능했던 성능이나 관리성을 손상시키지 않고 1,024에서 4,096 GPU로 확장 할 수있었습니다.

앞으로, 조직은 향후 18개월 이내에 8,192개의 GPU로 확장할 계획입니다.920-9B210-00FN-0D0 판매NVIDIA의 채널 파트너를 통해 더욱 큰 3단계 접힌 클로스 조직을 구축합니다.920-9B210-00FN-0D0은 검증된, 생산 준비가 된 솔루션으로 엑사 스케일에서 낮은 지연 RDMA 상호 연결 최적화 약속을 제공합니다.