Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand 스위치 기술 솔루션

이 기술 백서는 건축가, 사전 판매 엔지니어 및 운영 팀에게멜라녹스 (NVIDIA 멜라녹스) 920-9B210-00FN-0D0이 솔루션은 현대 AI 및 HPC 환경의 가장 시급한 과제를 해결합니다.전통적인 이더넷 패브릭의 확장성 제한.

1프로젝트 배경 및 요구사항 분석

대규모 언어 모델 훈련, 분자 역학 시뮬레이션 또는 날씨 예측을 위해 대규모 GPU 클러스터를 배포하는 조직은 공통적인 병목: 상호 연결 조직에 직면합니다.기존의 손실성 이더넷은, 효율적인 모든 감소 및 모든 모든 집단 작전을 위해 필요한 미세 초 하의 지연 시간. 실제 세계 배포에서 확인 된 주요 요구 사항에는 다음이 포함됩니다.

• 지연에 민감한 MPI 워크로드에서 1μs 이하의 끝에서 끝까지의 지연
• 손실 없이, 노선 차단 없이 포트당 400Gb/s의 라인 속도
• 호스트 CPU에서 집단 작업을 할부하기 위한 네트워크 컴퓨팅
• 직물 재구조 없이 8에서 2,000+ GPU 노드까지 원활한 확장성

이러한 요구는 우리의 디자인 팀이920-9B210-00FN-0D0차세대 저연속성 직물의 기본 빌딩 블록입니다.

2전체 네트워크/시스템 아키텍처 설계

제안 된 아키텍처는 차단되지 않고 전체 비섹션 대역폭을 위해 최적화된 두 계층 잎 척추 토폴로지를 채택합니다. 모든 컴퓨팅 노드 (GPU 서버, 저장 장치,관리 호스트) 잎 스위치에 연결이 디자인은 과잉 구독을 제거하고 통신 패턴에 관계없이 예측 가능한 대기 시간을 보장합니다.

참조 512-GPU 클러스터를 위해 우리는 16 잎 스위치와 8 척추 스위치를 배포, 각각의NVIDIA 멜라노크스 920-9B210-00FN-0D0잎-추상 링크는 400Gb/s NDR로 작동하며, 그 결과 전체 직물 대역폭은 200Tb/s를 초과합니다.모든 항구에서 적응적 라우팅 (AR) 및 혼잡 제어 알고리즘이 활성화되어 트래픽을 동적으로 균형을 이루고 인카스트 이벤트 중 핫 스팟을 피합니다..

3. 920-9B210-00FN-0D0의 역할과 주요 차별화

의920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR스위치는 잎과 척추 역할을 하며, 전체 조직에 일관된 성능을 제공합니다.

구매를 평가하는 엔지니어들은920-9B210-00FN-0D0 InfiniBand 스위치 OPN상호 운용성 검증을 위해,920-9B210-00FN-0D0 데이터 시트그리고920-9B210-00FN-0D0 사양ConnectX-7, BlueField-3 DPU 및 타사 저장장치와 자세한 호환성 매트릭스를 제공합니다.

4배포 및 확장 권고

우리는 생산 중단을 최소화하기 위해 단계적 배포 접근을 권장합니다.

• 1단계 (실험):8 ~ 16 GPU 노드 + 2920-9B210-00FN-0D0스위치 (single-rail topology). RDMA 성능을 검증하고 기본 메트릭을 수집합니다.
• 2단계 ( 부분 생산):4개의 잎 + 2개의 스핀을 사용하여 128개의 GPU로 확장할 수 있습니다. 적응형 라우팅과 SHARPv3를 활성화합니다.
• 3단계 (완전 생산):512+ GPU를 위한 16개의 잎 + 8개의 스핀을 배포합니다. NVIDIA UFM를 사용하여 멀티 경로 라우팅과 트러브리션 파티션을 도입합니다.

케이블링을 위해, 5m 이하의 경로에 활성 광학 케이블 (AOC) 또는 활성 구리 케이블을 사용하십시오. 더 긴 스핀 또는 크로스 랙 링크에 대해, 단일 모드 섬유로 400Gb/s NDR 트랜시버를 배포하십시오.모든 항구920-9B210-00FN-0D0 호환생태계 지원 400Gb/s와 200Gb/s 동작 모드 사이의 자동 협상

5운영, 모니터링 및 문제 해결

생산 준비는 강력한 관측성을 필요로 합니다.920-9B210-00FN-0D0 InfiniBand 스위치 OPN 솔루션NVIDIA 유니파이드 팩브릭 매니저 (UFM) 를 통해 주요 운영 기능은 다음과 같습니다.

• 실시간 텔레메트리포트 카운터, 대기 시간 히스토그램, 버퍼 점유율, 그리고 Prometheus/Graphite를 통해 수출되는 혼잡 알림
• 자동 오류 전환:케이블이나 트랜시버가 고장 났을 때 하위 링크를 재중계합니다.
• 성능 진단:내장된 SHARP 성능 카운터와 직물 분석 도구로 느린 배수 노드를 식별합니다.

공통 문제 는920-9B210-00FN-0D0 데이터 시트에러 코드 및 제안 된 시정 조치.920-9B210-00FN-0D0 가격잎만 확장하는 것과 전체 척추가 확장하는 것 사이의 타협을 위한 모델들

6요약 & 가치 평가

의NVIDIA 멜라노크스 920-9B210-00FN-0D0- 기반 솔루션은 RDMA/HPC/AI 클러스터에 대한 결정적 미세초 이하의 지연, 손실 없는 400Gb/s 처리량 및 네트워크 내 컴퓨팅 가속도를 제공합니다.대체 400Gb 이더넷 디자인과 비교이 InfiniBand 조직은 2.5 배 더 낮은 모든 감소 지연을 달성하고 SHARPv3를 통해 집단 트래픽의 90%까지 제거합니다.920-9B210-00FN-0D0 판매옵션, 전체 소유 비용은 일반적으로 6~12 개월 이내에 GPU 사용량 증가와 작업 완료 시간을 줄임으로써 복구됩니다.우리는 새로운 또는 확장 AI 인프라에 대한 즉각적인 파일럿 배포를 권장합니다..