멜라녹스 (NVIDIA 멜라녹스) 920-9B110-00FH-0D0 기술 백서: 저연속 인터커넥트 최적화

이 기술 백서는 네트워크 아키텍트, 사전 판매 엔지니어 및 운영 관리자를 대상으로멜라녹스 (NVIDIA 멜라녹스) 920-9B110-00FH-0D0인피니밴드 스위치. 우리는 이 플랫폼이 어떻게 HPC 및 AI 클러스터 환경에서 RDMA 집중 작업량에 대한 결정적이고 극히 낮은 지연 시간을 가능하게하는지 조사합니다.

현대 인공지능 훈련 프레임워크 (PyTorch DDP, DeepSpeed, Megatron) 와 HPC 시뮬레이션 코드 (CFD, 기상 모델링, 분자 역학) 는 집단 커뮤니케이션 원시에 크게 의존합니다.전통적인 이더넷 패브릭스는 세 가지 근본적인 문제를 야기합니다.: 인캐스트 혼잡, 저장 및 전신 스위칭으로 인한 변동적 지연 시간 및 TCP/IP 스택 처리로 인한 높은 CPU 오버헤드로 인한 패킷 손실.이 문제들은 대용량 분산 교육에서 GPU 비활동 시간 30~50%를 유발합니다, 직접적으로 해결 시기가 길어지고 운영 비용이 증가합니다.

의920-9B110-00FH-0D0이 과제는 하드웨어 기반의 RDMA, 절단 스위칭 및 신용 기반의 흐름 통제를 제공하는 네이티브 인피니밴드 기술을 통해 해결됩니다.대상 사용 사례는 64 ̊1을 관리하는 인공지능 연구소를 포함합니다.,024 GPU 클러스터, 미세초 이하의 MPI 지연을 필요로 하는 HPC 센터, 그리고 클라우드 제공자가 맨 금속 AI 인스턴스 가족을 구축합니다.

우리의 권장 아키텍처는 2단계 FAT 트리 (folded Clos) 토폴로지를 사용하며, 이 부분의 대역폭, 비용 및 확장성을 균형있게합니다. 설계 매개 변수는 최대 512 개의 컴퓨팅 노드를 가정합니다.각기 듀얼 포트 HDR ConnectX-6 어댑터로 장착되어 있습니다..

이 구성은 매 노드당 200Gb/s의 전체 バイ섹션 대역폭, 모든-모든 통신 패턴에 대한 차단되지 않은 성능, 하프당 130ns (컷-스루) 까지의 지연 시간을 제공합니다.920-9B110-00FH-0D0 InfiniBand 스위치 OPN 솔루션표준 및 사용자 지정 SKU를 모두 지원하며 유연한 포트 브레이크아웃 구성 (예: HDR 포트 당 4x 50Gb/s) 을 허용합니다.

제안된 건축물 안에서NVIDIA 멜라녹스 920-9B110-00FH-0D0잎과 척추 층을 통일하는 섬유 요소로 작용합니다. 주요 기술 차별 요소는 다음과 같습니다.

• 하드웨어 기반 RDMA:커널과 CPU를 완전히 우회하여 <1μs 지연시간으로 라인 레이트로 메모리-메모리 전송을 가능하게 한다.
• 어댑티브 라우팅 (AR):실시간 포트 혼잡을 기반으로 패킷을 역동적으로 리루팅하고, 패킷 재질서를 하지 않고 모든 사용 가능한 경로에 트래픽을 배포합니다.
• 혼잡 조절:하드웨어 수준의 알림 및 스트로틀링 메커니즘은920-9B110-00FH-0D0 데이터 시트.
• 선명한 텔레메트리통합된 하드웨어 모니터는 포트 버퍼 점유율, 대기 시간 및 오류 카운터를 제공하여 능동적인 관리를 제공합니다.

구매를 평가하는 엔지니어는 전체920-9B110-00FH-0D0 사양, 1U 형식 인 1U 포트에서 최대 40 HDR 포트 (200Gb / s 각) 를 지원하는 것을 확인합니다. 일반적으로 300W 이하의 전력 소비로.920-9B110-00FH-0D0 호환이 생태계에는 모든 표준 HDR 광 모듈 (QSFP56) 과 최대 5m의 수동 구리 케이블이 포함되어 있습니다.

초기 배포를 위해 단계적 접근을 권장합니다.

• 1단계 (실험용 노드: 32 노드)단일 스위치 구성에서 1개의 잎 스위치 (920-9B110-00FH-0D0) 를 배포합니다. ib_write_bw 및 MPI 벤치마크를 사용하여 RDMA 성능을 검증합니다.920-9B110-00FH-0D0 판매진행 기간이 프로젝트의 한계와 일치하도록 하는 상태입니다.
• 2단계 (생산 ∼ 128개의 노드):4개의 잎 + 2개의 척추 스위치로 풀 패트 트리를 구현한다. 적응적인 라우팅과 혼잡 제어를 가능하게 한다. NCCL 테스트 (all-reduce, all-gather) 로 확장된 스트레스 테스트를 실행한다.
• 단계 3 (스케일 아웃 512+ 노드):16 잎 + 8 척추 스위치로 확장. 멀티 팩브릭 아키텍처 (별로 컴퓨팅 / 스토리지 네트워크) 로 업그레이드하는 것을 고려하십시오.920-9B110-00FH-0D0 가격더 많은 스위치를 추가하는 것과 비교하면

전체 소유 비용을 계산할 때,920-9B110-00FH-0D0별도의 TOR 스위치, ECN 구성 복잡성 (RoCE와 달리) 및 독자적인 혼잡 관리 라이선스 (이 모든 것이 InfiniBand에 내티브로 포함되어 있습니다) 의 필요성을 제거합니다.

생산 관리NVIDIA 멜라녹스 920-9B110-00FH-0D0fabric는 두 가지 주요 도구에 의존합니다. 기본 직물 가져오기 위해 OpenSM (소부 네트워크 관리자) 와 엔터프라이즈 규모의 텔레미터 및 자동화를 위해 NVIDIA UFM (통일된 직물 관리자).

• 매일 건강 검진:`ibnetdiscover`을 사용하여 직물 토폴로지를 확인하고, `ibstat`을 사용하여 포트 상태를 모니터링하고, `perfquery`을 사용하여 오류 카운터를 추적합니다.
• 성능 조정:적응 라우팅을 결정적 지연 시간 (latency) 을 위해 "정형" 또는 최대 처리량 (throughput) 을 위해 "동적"으로 설정합니다. SL2VL 매핑을 조정하여 제어 대 데이터 트래픽의 우선 순위를 설정합니다.
• 일반적인 문제 해결:링크 CRC 오류는 일반적으로 케이블 / 신호 무결성 문제를 나타냅니다920-9B110-00FH-0D0 데이터 시트유효한 케이블 SKU를 위해 하위 네트워크 관리자 타임오웃은 종종 큰 직물용으로 △max_hop_count△를 조정해야 합니다.
• 용량 계획:UFM의 예측 분석을 활용하여 항구 이용률을 예측하고 일자리 영향을 미치기 전에 핫포트를 식별합니다.920-9B110-00FH-0D0 InfiniBand 스위치 OPN플렉서블 필드 업그레이드 가능한 광학이 변화하는 대역폭 요구에 적응 할 수 있습니다.

여러 공급자를 평가하는 조직의 경우920-9B110-00FH-0D0 가격다른 HDR 스위치에 비해 운영의 단순성을 고려해야 합니다.InfiniBand의 단일 공급자, 수직 통합 스택은 크로스 팀 디버깅 시간을 약 40% 감소시킵니다.

의멜라녹스 (NVIDIA 멜라녹스) 920-9B110-00FH-0D0낮은 지연시간의 결정적 상호 연결을 필요로 하는 RDMA/HPC/AI 클러스터를 위한 생산 준비가 된 기반을 제공합니다. 주요 가치 제안은 다음을 포함합니다.

• 성능:포트당 최대 200Gb/s, 130ns 이하의 스위칭 지연, 수 천 개의 노드까지 선형 GPU 확장 가능
• 운영 효율성:네이티브 하드웨어 오프로드는 네트워크 I/O에 대한 CPU 개입을 제거하고, 컴퓨팅을 위한 코어를 자유롭게 합니다.
• 미래 안전성:포트 속도 변환을 통해 EDR (100Gb/s) 와 역 호환성, NDR (400Gb/s) 와 전 호환성.
• 전체 소유비용:계산할 때920-9B110-00FH-0D0 가격이더넷 대안에 비해 GPU 비활동 시간 (15~25% 전형적인 복구) 을 줄이고 독점적 혼잡 제어 라이선스를 제거하는 절감 효과를 포함합니다.

건축가들은 전체920-9B110-00FH-0D0 데이터 시트그리고 공무원 참조920-9B110-00FH-0D0 사양케이블 매트리스 및 전력 예산920-9B110-00FH-0D0 판매NVIDIA의 파트너 네트워크를 통해 사용 가능성을 확인하고 사용자 정의 토폴로지 테스트를 위해 검증 실험실을 요청합니다.