Mellanox(NVIDIA Mellanox) MQM9790-NS2F InfiniBand 스위치 작동 – RDMA/HPC를 위한 낮은 지연 시간 상호 연결 최적화

멜라녹스 (NVIDIA 멜라녹스) MQM9790-NS2F 인피니밴드 스위치 작동 低延迟 互连优化 RDMA/HPC/AI 클러스터

인공지능 훈련 클러스터가 수천에서 수만 개의 GPU로 확장됨에 따라 네트워크 지연 및 혼잡 제어는 효과적인 컴퓨팅 활용에 결정적인 요소가됩니다.세계 최고의 인공지능 연구 조직이 최근멜라녹스 (NVIDIA 멜라녹스) MQM9790-NS2F다음 세대의 슈퍼 컴퓨팅 시설을 지원하기 위해 전환합니다. 대규모 언어 모델, 분자 역학 시뮬레이션 및 분산 깊은 학습을 지원합니다.이 기사에서는 실제 세계 배포에 대해 살펴보고 있습니다., 이 InfiniBand 스위치가 RDMA 전송, HPC 통신 및 AI 데이터 병렬 훈련 조직을 어떻게 변환하는지 자세히 설명합니다.

배경 및 도전: 이더넷 타협에서 손실 없는 상호 연결 필수

이 조직은 처음에는 RoCEv2와 함께 100GbE 이더넷 조직에 의존했다. 그러나 그들의 GPU 노드가 1,200개 이상의 서버 (각 8 × NVIDIA H100 GPU) 로 성장함에 따라,그들은 지속적인 PFC 교착상태를 겪었습니다., 복잡한 ECN 튜닝, 가끔 패킷을 떨어뜨리는 훈련 스탠드를 일으켰습니다.이 문제들은 평균 작업 완료 시간을 35% 이상 늘렸고 네트워크 문제 해결에 상당한 엔지니어링 노력을 소비했습니다.기존 인프라는 더 이상 대규모 모든 것을 줄이고 모든 것을 모든 집단 작업에 필요한 결정적 인 마이크로초 수준 지연 속도와 혼잡이없는 처리량을 제공할 수 없었습니다.

솔루션 및 배포:MQM9790-NS2F 인피니밴드 스위치직물 척추처럼

여러 대안을 평가한 후 팀은NVIDIA 멜라노크스 MQM9790-NS2F새로운 2단계 잎 척추 구조의 핵심 빌딩 블록입니다.MQM9790-NS2F 400Gb/s NDR 64-포트 OSFP스위치, 단위당 64개의 OSFP 포트를 제공하며 전체 스위치 용량은 25.6 Tb/s입니다. 포트당 400 Gb/s의 NDR 속도는, 커트-투 스위치와 적응형 라우팅과 결합되어포트에서 포트까지 600 ns 이하의 지연을 가능하게 합니다. GPU가 많은 작업량에 중요한 요구사항입니다.이 배포는MQM9790-NS2F 인피니밴드 스위치 솔루션NVIDIA Quantum‐2 펌웨어와 통합하여 원활한MQM9790-NS2F 호환기존의 ConnectX‐7 어댑터와 BlueField‐3 DPU와 작동합니다.

주요 배치 선택은 다음을 포함합니다.

• 토폴로지:64 포트 OSFP에서 400G 광 수신기로 차단되지 않는 FAT 트리, 모든 GPU 노드에 대한 전체 비섹션 대역폭을 가능하게합니다.
• 관리자:NVIDIA UFM (Unified Fabric Manager) 는 실시간 텔레메트리, 혼잡 감지 및 능동적인 경로 재중선을 위해 사용된다.
• 집단 출하:SHARPv3는 호스트 CPU에서 통신을 오프로드하여 모든 감소 작업을 가속화 할 수 있습니다.

원활한 전환을 보장하기 위해 팀은MQM9790-NS2F 데이터 시트그리고MQM9790-NS2F 사양전력 및 케이블 요구 사항을 검증하기 위해. 1U 형식 요소와 불필요한 전력 공급 장치가 기존 랙 밀도에 깔끔하게 적합하며 OSFP 포트는 DAC 케이블과 광 모듈을 모두 지원합니다.,미래 확장에 대한 유연성을 제공합니다.

측정 된 결과와 이점 성과 및 효율성에서의 수치화 가능한 이득

완전한 배포와 최적화 후, 조직은 여러 차원에서 중요한 개선 사항을 문서화했습니다.

원료 숫자를 넘어서 연구팀은 거의 0의 혼잡 관련 중단을 보고하여 네트워크 운영을 크게 단순화했습니다.NVIDIA 멜라노크스 MQM9790-NS2F자동 로드 밸런싱이 모든 OSFP 포트 64개에 허용되며, 수동 ECN 튜킹을 제거합니다.MQM9790-NS2F 인피니밴드 스위치95%의 링크 이용률에도 불구하고 결정적인 성능을 제공했습니다. 이전 이더넷 설정에서는 불가능한 일입니다.

이 조직은 또한MQM9790-NS2F 가격, 5 년의 라이프 사이클에 amortized 때, 포트 당 전력 소비 감소 (≈ 1.5W 400G 포트 당) 및 더 높은 포트 밀도로 인한 더 낮은 케이블 비용으로 상쇄되었습니다.일반 사용 가능성 현재 성숙, 그들은 그것을 확인MQM9790-NS2F 판매승인 된 채널을 통해 조달을 간편화하고,MQM9790-NS2F 데이터 시트필요한 모든 설치 및 준수 세부 사항을 제공했습니다.

요약 & 전망 다음 세대 인공지능 인프라를 위한 청사진

의결멜라녹스 (NVIDIA 멜라녹스) MQM9790-NS2F이 대규모 HPC/AI 클러스터에서 목적으로 만들어진 InfiniBand 패브릭이 더 이상 사치품이 아니라 AI와 과학 컴퓨팅의 경계를 확장하는 조직의 필수품임을 보여줍니다.일관성 있는 미세초 이하의 지연을 제공함으로써, 손실 없는 RDMA 전송, 네트워크 내 컴퓨팅 가속,MQM9790-NS2F 400Gb/s NDR 64-포트 OSFP스위치는 데이터 센터에 수만 개의 GPU까지 거의 선형 확장성을 달성 할 수 있습니다.

앞으로 연구팀은 추가로MQM9790-NS2F 인피니밴드 스위치기후 모델링과 게놈학을 포함한 향후 엑사스케일급 작업 부하를 지원하는 장치MQM9790-NS2F 호환미래 NVIDIA 세대와 함께 생태계를 구축하여 투자 보호를 보장합니다.MQM9790-NS2F 인피니밴드 스위치 솔루션고성능, 낮은 지연 시간 클러스터 네트워크에 대한 입증된 비용 효율적인 경로를 제공합니다.