M

멜라녹스 (NVIDIA 멜라녹스) MQM8790-HS2F 인피니밴드 스위치가 실제 실행중입니다.

배경 및 도전: RDMA 클러스터가 네트워크 병목에 도달했을 때

전형적인 혼합 HPC 및 AI 워크로드 환경에서 컴퓨팅 클러스터는 종종 CFD 시뮬레이션, 분자 역학 및 분산된 대규모 모델 훈련을 나란히 실행합니다.이러한 작업 부하는 노드 간 통신을 위해 RDMA에 크게 의존하고 있으며 대역폭에 매우 민감합니다.클러스터가 수십 개의 노드에서 수백 개로 성장하면 원래의 상호 연결이 빠르게 제한 요소가 될 수 있습니다.

일반적인 증상으로는 AllReduce 중에 긴 꼬리 지연, 조직 전체의 불평등한 링크 활용, 여러 임차인이 네트워크를 공유하는 즉시 작업 완료 시간이 저하됩니다.네트워크 엔지니어 및 건축가, 과제는 단순히 대역폭을 추가하는 것이 아니라 혼잡 상태에서 지연 시간을 예측할 수 있도록 하는 조직을 만드는 것입니다.

솔루션 및 배포: MQM8790-HS2F 주위의 조직 구축

이러한 문제를 해결하기 위해 클러스터 조직은 높은 밀도, 낮은 지연 환경으로 설계된 200Gb/s HDR InfiniBand 스위치인 Mellanox (NVIDIA Mellanox) MQM8790-HS2F를 중심으로 재설계되었다.MQM8790-HS2F 200Gb/s HDR 40-포트 QSFP56 형식 인수는 1U에서 40 포트를 허용합니다., 이것은 두 계층의 지방 나무 토폴로지에 자연스럽게 들어갑니다.

배포는 계층적인 접근 방식을 따랐습니다.

• 척추 층:NVIDIA Mellanox MQM8790-HS2F 스위치는 200Gb/s 업링크와 잎 그룹 간의 동서 트래픽을 차단하지 않는 척추 장치로 배포되었다.
• 잎층:잎 스위치는 ConnectX-6 또는 ConnectX-7 어댑터로 장착된 컴퓨팅 노드를 연결하여 MQM8790-HS2F 호환되는 끝에서 끝까지 HDR 경로를 형성합니다.
• 네트워크 컴퓨팅:MQM8790-HS2F의 SHARP 기술은 AllReduce와 같은 집단 작업을 스위치로 할인하여 GPU 및 CPU 오버헤드를 줄입니다.
• 관리 및 텔레미터:MLNX-OS, UFM 및 NetQ는 직물 제공, 모니터링 및 혼잡 가시성을 위해 사용되었습니다.

계획 중에, 팀은 MQM8790-HS2F 데이터 시트와 MQM8790-HS2F 사양을 검토하여 전력 예산, 냉각 요구 사항 및 2×100Gb/s 브레이크아웃과 같은 포트 분할 옵션을 검증했습니다.케이블 및 광학은 절약 및 향후 확장을 단순화하기 위해 QSFP56에 표준화되었습니다..

결과 와 유익: 봉사 의 직무 를 수행 한 후 변화 한 일

MQM8790-HS2F 인피니밴드 스위치 솔루션으로 마이그레이션 한 후 클러스터는 통신 효율성과 직업 안정성에서 측정 가능한 향상을 보였다. 가장 주목할만한 이득은 다음과 같습니다.

조직의 동작에 대한 더 나은 통제를 얻었습니다. 적응성 경로와 SHARP는텔레메트리는 느린 노드와 잘못된 연결을 더 쉽게 식별할 수 있도록 했습니다.MQM8790-HS2F 가격 또는 MQM8790-HS2F 판매 옵션을 평가하는 건축가들에게 중요한 것은 스위치가 원형 포트 수뿐만 아니라 더 높은 클러스터 활용을 통해 지불한다는 것입니다.

결론과 전망

MQM8790-HS2F는 특별히 제작된 InfiniBand 스위치가 RDMA, HPC 및 AI 클러스터에서 상호 연결 병목을 제거 할 수있는 방법을 보여줍니다. 200Gb/s HDR 포트, SHARP 인 네트워크 컴퓨팅을 결합하여,그리고 성숙한 관리 스택, NVIDIA Mellanox MQM8790-HS2F는 예측 가능한 낮은 대기 시간을 제공합니다. 클러스터가 계속 증가하고 AI 작업 부하가 더 통신 집중적이 되면서,MQM8790-HS2F 인피니밴드 스위치에 기반을 둔 직물들은 다음의 확장 물결을 지원할 수 있는 좋은 위치에 있습니다..