NVIDIA Mellanox MQM9790-NS2F 기술 참조: RDMA/HPC/AI 클러스터를 위한 저연속 상호 연결 최적화

NVIDIA Mellanox MQM9790-NS2F 기술 참조: RDMA/HPC/AI 클러스터를 위한 저연속 상호 연결 최적화

1프로젝트 배경 및 요구사항 분석

현대 인공지능 훈련과 HPC 시뮬레이션 작업 부하는 기반 네트워크 조직에 극단적인 요구를 하는 강렬하고 모든 모든 커뮤니케이션 패턴으로 특징입니다.GPU 클러스터가 1을 초과할 때, 000 노드, 소프트웨어 기반 혼잡 제어와 함께 이더넷에 의존하는 전통적인 접근 방식은 불충분합니다. 이러한 환경에서 발생하는 주요 요구 사항은 다음을 포함합니다.

• 결정적 초저연속성:MPI 작업 완료 시간을 최소화하기 위해 미세초 이하의 포트-포트 지연
• 손실이 없는 직물:TCP 인카스트와 성능 붕괴를 방지하기 위해 혼잡 상태에서 제로 패킷이 떨어집니다.
• 네트워크 내 계산 부하:집단 작업에 대한 호스트 CPU 오버헤드의 감소 (예를 들어, 모든 것을 줄이고, 방송)
• 확장 가능한 토폴로지:최대 수천 개의 엔드포인트까지의 전체 빗방울 대역폭으로 Fat-tree 및 Dragonfly+ 토폴로지를 지원합니다.

의NVIDIA 멜라노크스 MQM9790-NS2F이 요구사항을 충족시키기 위해 64 OSFP 포트를 가진 400Gb/s NDR InfiniBand 스위치로 설계되어, 엑사스케일급 배포에 필요한 밀도와 성능을 제공합니다.

2전체 네트워크 아키텍처 설계

제안 된 솔루션은 확장성, 과잉 구독 제어 및 케이블 단순성의 균형을 제공하는 두 계층 잎 척추 토폴로지를 사용합니다. 잎 층에서,각 컴퓨팅 랙은 하나 또는 두 개의 집MQM9790-NS2F 인피니밴드 스위치단위, GPU 서버에 400Gb / s 연결 64 포트를 제공합니다. 척추 층에서, MQM9790-NS2F 스위치의 두 번째 계층은 모든 잎을 상호 연결하여 차단하지 않는 조직을 만듭니다.

2,000 GPU 노드를 초과하는 대규모 배포를 위해 3 계층 접힌 클로스 아키텍처를 채택 할 수 있습니다.MQM9790-NS2F 400Gb/s NDR 64-포트 OSFP모든 레벨에서 일관된 성능을 유지하기 위해 잎과 척추로 동시에 작용합니다. 이 디자인은 모든 서버가 다른 서버와 라인 속도에서 통신 할 수 있도록 보장합니다.최대 3개의 스위치 호프로.

다음 표는 MQM9790-NS2F를 중심으로 만들어진 2층 잎 척추 조직의 전형적인 확장 매개 변수를 요약합니다.

3. NVIDIA Mellanox MQM9790-NS2F의 역할 및 주요 기능

이 건축물 안에서,NVIDIA 멜라노크스 MQM9790-NS2F여러 가지 중요한 기능을 제공하는 기본 빌딩 블록으로 작용합니다.

• 포트당 400Gb/s NDR:64개의 OSFP 포트 각각은 쌍방향 400Gb/s를 지원하며, 신뢰성 있는 장거리 연결을 위해 전방 오류 수정 (FEC) 를 지원한다.
• 통합된 SHARPv3 (스케아블 히에라키컬 애그게레이션 및 리듀션 프로토콜):호스트 CPU에서 집단 통신 작업을 오프로드하여 대규모 작업에서 MPI 모든 감소 대기 시간을 최대 40%까지 줄입니다.
• 적응적인 라우팅 및 혼잡 제어:역동적으로 교통을 전환하여 핫스팟을 피하고 적대적인 교통 패턴에서도 예측 가능한 성능을 보장합니다.
• 첨단 텔레메트리유동 및 포트 카운터, 버퍼 점유량 모니터링과 함께, 직물 건강에 대한 깊은 가시성을 제공합니다.

에 따르면MQM9790-NS2F 데이터 시트, 스위치는 100ns 이하의 절단 지연을 제공하고 51.2 Tb/s까지의 총 스위칭 용량을 지원합니다.이러한 사양은 그린 필드 배포와 HDR (200Gb/s) 인프라에서 단계적 인 업그레이드 모두에 이상적인 선택을합니다..

4배포 및 확장성 권고

조직이 도입을 계획하는 경우MQM9790-NS2F 인피니밴드 스위치 솔루션, 다음과 같은 배치 지침이 권장됩니다:

• 케이블 전략:OSFP-to-OSFP 직접 연결 구리 (DAC) 케이블을 랙 내 연결 (최고 3m) 및 활성 광 케이블 (AOC) 또는 광 송수신기를 랙 간 및 척추 잎 링크 (최고 100m) 를 위해 사용합니다.
• 퇴직자:이중 전원 공급 장치와 열 교환 가능한 팬 모듈을 배치하십시오. 결함 용도를 위해 각 전원 공급 장치를 분리 PDU에 연결하십시오.
• 펌웨어 일관성:모든 스위치가 동일한 NVIDIA 펌웨어 버전을 실행하도록 하여 기능 불일치를 방지하십시오. 롤링 업데이트를 위해 UFM의 자동 펌웨어 업그레이드 기능을 사용하세요.
• 확장성:4,000개의 노드를 초과한 클러스터의 경우, 3단계 접힌 클로스 토폴로지 또는 적응 라우팅이 활성화된 드래곤플라이+를 고려하십시오.MQM9790-NS2F 호환이 생태계에는 이러한 토폴로지를 지원하는 광학과 케이블이 다양합니다.

전체 소유 비용을 계산할 때, 스위치 계층의 감소 수와 더 낮은 라디크스 대안에 비해 단순화된 케이블을 고려하십시오.MQM9790-NS2F 가격단위당 이전 세대의 스위치보다 높고, 포트당 비용과 GPU당 네트워크 비용은 대규모 배포에서 현저히 낮습니다.그것은 비용 효율적인 선택에 Exascale 프로젝트를 만들기.

5운영, 모니터링 및 문제 해결

NDR 섬유의 효과적인 관리에는 포괄적인 모니터링 및 문제 해결 프레임워크가 필요합니다. NVIDIA의 통일 섬유 관리자 (UFM) 는 전체 섬유에 대한 하나의 유리판을 제공합니다.NVIDIA 멜라노크스 MQM9790-NS2F- 직물 원료:

• 토폴로지 시각화:모든 스위치, 링크 및 엔드포인트의 자동 발견 및 그래픽 표현
• 성능 대시보드:항구 사용량, 오류율 및 혼잡 지표에 대한 실시간 시각.
• 선제적 경보:연결 고리가 떨어지고, 온도 이상, 전원 공급 고장 등에 대한 경계 기준 알람.
• 결함 격리:고장난 케이블, 트랜시버 또는 스위치 포트를 식별하는 가이드된 문제 해결 작업 흐름.

고급 문제 해결을 위해,MQM9790-NS2F 사양세부적인 버퍼 모니터링 및 흐름 수준 통계를 포함합니다. 사용자 지정 모니터링 스택과 통합하기 위해 REST API를 통해 수출할 수 있습니다.네트워크 엔지니어는 또한 스위치의 내장 진단 도구를 활용해야 합니다, 예를 들어 루프백 테스트 및 BER (비트 오류율) 분석, 생산 작업 부하를 배포하기 전에 링크 무결성을 검증하기 위해.

초기 배포 과정에서 발생하는 일반적인 문제는 불평등한 링크 속도 또는 부적절한 케이블 유형으로 인해 발생하는 최적의 라우팅을 포함합니다.적응형 라우팅을 활성화하고 모든 링크가 400Gb/s (FEC가 활성화된 상태) 에서 작동하는지 확인하면 대부분의 성능 이상 현상이 해결됩니다..MQM9790-NS2F 인피니밴드 스위치 솔루션또한 하위 네트워크 관리자 부하를 지원하여 관리 노드 고장이 발생하면 수동 개입없이 조직 재구성이 이루어질 수 있도록 보장합니다.

6요약 & 가치 평가

의MQM9790-NS2F고성능 네트워크의 중요한 발전을 나타냅니다. 400Gb/s NDR 대역폭, 64-포트 밀도, 단일 관리 가능한 1U 플랫폼에서 네트워크 내 컴퓨팅 가속을 제공합니다.인공지능과 HPC 클러스터를 설계하는 건축가와 엔지니어, 이 스위치는 에카스케일 성능에 대한 검증된 경로를 제공하며:

• 최대 30% 감소SHARPv3 릴로드를 통해 대규모 교육 작업에 대한 작업 완료 시간
• 더 낮은 TCO대안 솔루션에 비해 더 높은 라디크스와 더 적은 스위치 계층으로 인해
• 단순화된 작업UFM 통합과 전면적인 텔레메트리를 통해 능동적인 장애 관리
• 미래형 확장성차세대 GPU와 가속기 상호 연결을 지원합니다.

평가하는 조직의 경우MQM9790-NS2F 판매NVIDIA의 파트너 네트워크를 통해, 우리는 상세한 검토를 추천합니다MQM9790-NS2F 데이터 시트그리고 인증된 솔루션 아키텍트와 협력하여NVIDIA 멜라노크스 MQM9790-NS2F인공지능은 이제 과학 발견과 인공지능 혁신의 다음 10년간의 고성능의 연결 척추 역할을 할 준비가 되었습니다.