NVIDIA Mellanox MQM8790-HS2F 활용: RDMA/HPC/AI 클러스터를 위한 저지연 상호 연결 최적화

빠르게 성장하고 있는 인공지능 연구 조직은 익숙한 고통의 지점과 마주하고 있었습니다. 그들의 200+ GPU 클러스터,예측할 수 없는 작업 완료 시간강력한 컴퓨팅 노드에도 불구하고 기존 100Gb / s 이더넷 조직은 꼬리 지연 스파이크, 인카스트 패턴으로 패킷 떨어짐,그리고 전통적인 TCP/IP 스택 처리로 인한 높은 CPU 오버헤드. 팀은 일관된 미크로초 이하의 지연 시간을 제공할 수 있는 솔루션, GPU 다이렉트를 위한 RDMA를 완전히 지원하고 포크리프트 업그레이드 없이 확장할 수 있는 솔루션이 필요했습니다.그들은 선택迈络思 (NVIDIA Mellanox) MQM8790-HS2F다음 세대의 클러스터 조직의 핵심 빌딩 블록입니다.

이 조직은MQM8790-HS2F 인피니밴드 스위치두 계층의 지방 나무 토폴로지에서 128 개의 컴퓨팅 노드 (각기 NVIDIA ConnectX-6 HDR 어댑터로 장착) 와 4 개의 스토리지 노드를 연결합니다.NVIDIA 멜라노크스 MQM8790-HS2F16Tb/s의 비 차단 스위치 용량을 제공 한 이더넷 스위치 두 개를 대체 할 수 있으며 케이블 복잡성을 줄였습니다.MQM8790-HS2F 200Gb/s HDR 40-포트 QSFP56RDMA와 GPUDirect의 네이티브 지원, CPU 개입 없이 다른 서버에서 GPU 간의 직접 메모리 액세스를 가능하게 한다.

주요 실행 세부 사항은 다음과 같습니다.

• 여러 경로에서 자동으로 교통을 균형을 맞추기 위해 적응성 있는 라우팅, 뜨거운 지점을 제거합니다.
• SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) 는 네트워크 내의 축소를 위해 All-Reduce 작업을 최대 2.5배까지 가속화합니다.
• 스위치 수준에서 혼잡 제어, 손실 이더넷 환경에서 일반적인 헤드 오브 라인 차단을 방지합니다.

구매 전에 엔지니어링 팀은MQM8790-HS2F 데이터 시트그리고MQM8790-HS2F 사양기존의 Mellanox 케이블 및 트랜시버와 호환성을 확인합니다.MQM8790-HS2F 호환HDR 광케이블과 구리케이블을 포함한 생태계는 이전 상호 연결 투자의 40%를 재사용 할 수있게하여 업그레이드 장애를 크게 줄였습니다.

이 지역으로 이주한 후MQM8790-HS2F조직은 세 가지 유형의 개선 사항을 문서화했습니다.

• 지연시간 감소:평균 MPI 핑핑 래턴티는 2.1μs (Ethernet RoCE) 에서 0.82μs로 떨어졌으며 꼬리 래턴티는 사실상 제거되었습니다.
• 작업 처리량:분산 교육 작업 (NCCL 기반) 은 통신 오버헤드 감소와 SHARPv3 가속화로 인해 37% 더 빨리 완료되었습니다.
• CPU 전하:인피니밴드 (InfiniBand) 상에서의 RDMA는 네트워크에 대한 CPU 사용량을 ~15%에서 2% 이하로 줄여 컴퓨팅을 위한 코어를 자유로웠다.

128GPU 모든 모든 통신 기준에서,MQM8790-HS2F 인피니밴드 스위치 솔루션포트당 198Gb/s를 유지하며 패킷 손실이 0이었는데, 이전 이더넷 패브릭의 경우 1.2%의 손실을 기록한 112Gb/s에 비해직무 변동성이 78% 감소했습니다., 더 엄격한 SLA와 예측 가능한 실행 시간을 가능하게합니다.

이 실제 세계 배포는MQM8790-HS2F스펙 시트 히어로보다 더 많은 것이 생산 HPC 및 AI 워크로드에 실질적인 이점을 제공합니다. 200Gb/s HDR 처리량, 40개의 고밀도 포트,그리고 고급 네트워크 컴퓨팅은 작업 완료 시간과 운영 전반 비용을 줄임으로써 클러스터 경제를 변화시킵니다.. IT 리더가 평가하는MQM8790-HS2F 가격성능 향상에 비해, 이 사례 연구는 컴퓨팅 효율성 향상에만 기초한 12개월 이하의 ROI를 제안합니다.

조직이 GPU 수를 400+ 노드로 두 배로 늘릴 계획이기 때문에MQM8790-HS2F 판매단위는 차단되지 않는 지방 나무 구조를 유지합니다. HDR 및 EDR 속도를 혼합 할 수있는 스위치의 능력은 오래된 어댑터가 점차 교체됨에 따라 원활한 마이그레이션 경로를 보장합니다.다음 세대의 RDMA 중심 클러스터를 설계하는 건축가들에게,NVIDIA 멜라노크스 MQM8790-HS2F검증된, 생산 준비가 된 척추를 제공합니다.