NVIDIA Mellanox MQM9790-NS2F InfiniBand 스위치 기술 솔루션

NVIDIA Mellanox MQM9790-NS2F 인피니밴드 스위치 기술 솔루션

프로젝트 배경 및 요구사항 분석

인공지능 대형 모델 훈련, HPC 시뮬레이션 및 분산 스토리지를 지원하는 현대 데이터 센터는 200Gb/s HDR에서 400Gb/s NDR로 빠르게 이동하고 있습니다.네트워크 아키텍트들의 핵심 긴장점은 GPU 노드 밀도가 계속 증가한다는 것입니다., 노드 간 통신 지연 및 jitter는 클러스터 효율을 제한하는 요소가됩니다.하나의 혼잡한 점프 또는 잘못 구성 된 직물 계층은 수백 개의 노드에서 효과적인 GPU 사용량을 줄일 수 있습니다..

이러한 프로젝트의 전형적인 요구 사항은 집단 작업에 대한 결정적인 낮은 지연, 패브릭스 상에서 RDMA와 NVMe를 위한 손실 없는 운송, 패브릭스를 평평하게 유지하기 위한 높은 라디크스,그리고 기존 투자를 보호하는 명확한 업그레이드 경로. NVIDIA Mellanox MQM9790-NS2F는 퀀텀-2 제품군 내의 400Gb/s NDR InfiniBand 스위치로 이러한 요구 사항을 충족시킬 수 있습니다.

전체 네트워크 및 시스템 아키텍처 설계

권장된 아키텍처는 NDR 링크에 전적으로 기반을 둔 2단계 척추 잎 인피니밴드 구조입니다. 잎 스위치는 GPU 서버, 저장 대상 및 관리 노드를 연결합니다.척추 스위치는 잎 간 연결과 경로 다양성을 제공합니다.이 디자인은 홉 카운트를 낮게 유지하며 AI 및 HPC 워크 로드를 지배하는 동서 트래픽에 대한 차단되지 않는 대역폭을 보장합니다.

엔드포인트 계층에서는 호스트 채널 어댑터가 RDMA 모드로 작동하여 CPU 개입없이 메모리-메모리 전송을 허용합니다.그리고 집단적인 가속관리 및 텔레메트리 트래픽은 동일한 물리적 인프라를 공유하지만 QoS 정책에 의해 격리되어 있으므로 모니터링은 생산 작업 부하에 간섭하지 않습니다.

주요 설계 원칙은 다음과 같습니다.

• 플래트 토폴로지는 지연 시간을 최소화하고 문제 해결을 단순화합니다.
• 레벨 간의 차단되지 않는 연결 또는 저중계열 연결
• 융합 생산의 병목을 피하기 위해 NDR의 끝에서 끝까지 일관성
• 높은 가용성 및 로드 밸런싱을 위한 불필요한 경로
• 운영 일관성을 위한 표준 인피니밴드 관리

NVIDIA Mellanox MQM9790-NS2F의 역할과 주요 특징

NVIDIA Mellanox MQM9790-NS2F는 이 섬유의 빌딩 블록으로 사용된다. MQM9790-NS2F 400Gb/s NDR 64-포트 OSFP 스위치로서, 단일 단위에서 높은 포트 밀도를 제공합니다.건축가들이 더 적은 계층으로 더 평평한 네트워크를 설계할 수 있도록각 OSFP 포트는 NDR 속도로 작동 할 수 있으며 64 포트 구성은 고 라디크스 잎 및 척추 역할을 지원합니다.

MQM9790-NS2F 사양을 검토하는 팀의 경우, 플랫폼은 집단 가속, 고급 혼잡 제어 및 적응 라우팅을 위해 NVIDIA SHARPv3를 지원합니다.이 기능은 AI 교육 및 MPI 워크로드에서 일반적인 꼬리 지연 및 인스캐스트 문제를 직접 대상으로합니다.MQM9790-NS2F InfiniBand 스위치는 또한 운영 학습 곡선을 줄이는 표준 InfiniBand 관리 도구와 통합됩니다.

MQM9790-NS2F InfiniBand 스위치 솔루션을 계획할 때, 건축가는 OSFP 케이블, 호스트 채널 어댑터 및 펌웨어 버전을 포함한 MQM9790-NS2F 호환성 구성 요소를 확인해야합니다.설계 단계 초에 MQM9790-NS2F 데이터 시트를 검토하는 것은 전력을 검증하는 데 도움이됩니다., 냉각 및 래크 공간 요구 사항 구매 전에.

배포 및 확장 권고

일반적인 배포는 MQM9790-NS2F 잎 스위치 쌍에 연결된 32에서 64 GPU 노드의 파일럿 팟으로 시작합니다. 클러스터가 성장함에 따라 척추 연결이 추가됩니다.추가 MQM9790-NS2F 단위를 사용하여 차단되지 않는 대역폭을 유지합니다.이 단계적 접근 방식은 전체 규모의 배포 전에 지연 시간 및 처리량을 검증 할 수 있습니다.

스케일링을 위해 권장되는 방법은 직물을 대칭적으로 유지하는 것입니다. 과잉 가입 비율이 예측 가능하도록 잎과 척추 용량을 일치하는 증가량으로 추가하십시오.케이블 관리 및 항구 표기판은 처음부터 표준화되어야 합니다., 고밀도 OSFP 배포가 물리적 레이아웃이 불일치하면 유지하기가 어려울 수 있기 때문입니다.

아래 표는 대표적인 2단계 설계 고려 사항을 요약합니다.

운영, 모니터링, 문제 해결 및 최적화

운영 성공은 가시성에 달려 있습니다. 인피니밴드 섬유는 링크 오류, 혼잡 이벤트 및 버퍼 활용에 대한 카운터를 제공합니다.이 자료는 지속적으로 수집되고 작업 스케줄러 데이터와 상관관계를 유지해야 합니다., 그래서 성능 회귀는 추측보다는 특정 직물 세그먼트에 추적 될 수 있습니다.

일반적인 문제 해결 시나리오에는 신용 스탠드, 잘못된 구성 QoS 및 스위치와 어댑터 사이의 펌웨어 불일치 등이 있습니다. 구조화된 체크리스트로팅 정책을 확인, 혼잡 텔레메트리를 검사 할 수 있습니다. 중간의 해결 시간을 줄일 수 있습니다. 최적화 노력은 평균 처리량보다는 꼬리 지연에 초점을 맞추어야합니다.인공지능과 HPC 작업 부하가 최악의 경우 행동에 민감하기 때문에.

조달 및 라이프 사이클 계획에 대해, 팀은 종종 MQM9790-NS2F 가격과 MQM9790-NS2F를 비교합니다.그리고 지역, 따라서 배급자와 NVIDIA 기업 대표와의 초기 참여가 권장됩니다.

NVIDIA Mellanox MQM9790-NS2F는 RDMA, HPC 및 AI 클러스터 상호 연결을 위한 400Gb/s NDR 기반을 제공합니다.그리고 손실 없이 낮은 지연 시간 운송을 가능하게 합니다., 그것은 실제 세계의 클러스터 효율을 제한하는 성능 병목을 해결합니다. 네트워크 아키텍트와 사전 판매 엔지니어,그것은 다음 세대의 InfiniBand 천재에 대한 실용적이고 확장 가능한 빌딩 블록을 나타냅니다..