M

Mellanox 920-9B210-00FN-0D0 InfiniBand 스위치 | RDMA, HPC 및 AI 클러스터 저지연 상호 연결 최적화를 위한 기술 솔루션

NVIDIA Quantum-2 NDR InfiniBand 네트워킹, RDMA 가속, 확장 가능한 GPU 클러스터 상호 연결, 패브릭 관리 및 성능 최적화를 다루는 포괄적인 기술 아키텍처 및 배포 가이드입니다.

제품:엔비디아 QM9790 / MQM9790-NS2F |SKU:920-9B210-00FN-0D0 |기술:400Gb/s NDR 인피니밴드

인공 지능, 고성능 컴퓨팅(HPC) 및 분산 GPU 워크로드는 데이터 센터 네트워킹 인프라에 전례 없는 요구 사항을 제시하고 있습니다. 컴퓨팅 클러스터가 성장함에 따라 네트워크 통신 효율성에 따라 값비싼 GPU 리소스가 최대한의 잠재력을 발휘할 수 있는지 여부가 점점 더 결정됩니다. 그만큼엔비디아 멜라녹스 920-9B210-00FN-0D0InfiniBand 스위치는 확장 가능한 가속 컴퓨팅 네트워크 구축을 위한 고대역폭, 저지연 스위칭 플랫폼을 제공합니다.

NVIDIA Quantum-2 기술로 구동되는 QM9790은 최대 51.2Tb/s의 총 양방향 스위칭 처리량으로 32개의 OSFP 커넥터를 통해 64개의 비차단 400Gb/s NDR InfiniBand 포트를 지원합니다. 이 기술 백서는 스위치를 RDMA 지원 네트워크 아키텍처에 통합하고, 분산 AI 통신을 최적화하고, 탄력적인 HPC 패브릭을 설계하고, 효과적인 배포 및 운영 방식을 확립하는 방법을 설명합니다.

01. 프로젝트 배경 및 요구사항 분석

최신 AI 훈련 플랫폼은 일반적으로 여러 GPU 서버를 분산 컴퓨팅 클러스터에 연결합니다. 모델 훈련 중에 GPU는 NVIDIA NCCL과 같은 통신 라이브러리를 사용하여 기울기, 매개변수 및 중간 결과를 자주 교환합니다. HPC 애플리케이션도 마찬가지로 MPI 및 기타 병렬 컴퓨팅 프레임워크를 통과하는 대기 시간이 짧은 메시지에 의존합니다.

컴퓨팅 노드 수가 증가할수록 통신 트래픽은 더욱 복잡해집니다. 애플리케이션에서는 대역폭 포화, 핫스팟 정체, 집단적 통신 지연, 네트워크 경합으로 인한 일관되지 않은 성능이 발생할 수 있습니다.

고성능 InfiniBand 솔루션은 다음과 같은 기술 요구 사항을 해결해야 합니다.

• 높은 대역폭:GPU 서버와 컴퓨팅 노드 간의 대규모 데이터 이동을 위해 충분한 상호 연결 용량을 제공합니다.
• 낮은 통신 지연 시간:빈번한 동기화 및 소규모 메시지 교환과 관련된 지연을 최소화합니다.
• RDMA 지원:CPU 개입을 줄이면서 효율적인 메모리 간 통신을 활성화합니다.
• 네트워크 확장성:개별 서버 랙에서 다중 랙 AI 및 HPC 패브릭으로의 확장을 지원합니다.
• 트래픽 최적화:적응형 라우팅 및 정체 관리를 통해 네트워크 활용도를 향상시킵니다.
• 운영 신뢰성:모니터링, 결함 격리 및 성능 검증 절차를 수립합니다.

디자인 목적:네트워크 관련 병목 현상을 최소화하고 분산 AI 교육, 과학 컴퓨팅 및 데이터 집약적인 HPC 애플리케이션을 위한 예측 가능한 RDMA 성능을 지원하는 확장 가능한 고대역폭 InfiniBand 패브릭을 구축하세요.

02. 전체 네트워크 및 시스템 아키텍처

제안된 아키텍처는 다음을 사용합니다.920-9B210-00FN-0D0 InfiniBand 스위치 OPN고속 NDR 패브릭 내의 핵심 빌딩 블록으로 사용됩니다. 배포 규모에 따라 스위치는 단일 계층 설계 또는 다중 계층 리프-스파인 토폴로지로 작동할 수 있습니다.

다중 랙 GPU 클러스터의 경우 2계층 Fat Tree 아키텍처가 실용적인 출발점이 됩니다. 리프 스위치는 컴퓨팅 서버를 연결하고 스파인 스위치는 랙 간의 고대역폭 통신을 제공합니다. 업링크 할당은 예상되는 트래픽 패턴, 필요한 이등분 대역폭 및 허용 가능한 초과 가입에 따라 계산되어야 합니다.

참조 네트워크 토폴로지

AI 교육/HPC 애플리케이션
NCCL/MPI/UCX/RDMA
↓
GPU 서버 및 컴퓨팅 노드
NVIDIA ConnectX InfiniBand 어댑터
↓
나뭇잎 레이어
NVIDIA Quantum-2 QM9790 NDR 스위치
↓
척추층
NVIDIA Quantum-2 QM9790 NDR 스위치
↓
기타 GPU 랙/HPC 컴퓨팅 노드
외부 서브넷 관리자/NVIDIA UFM 패브릭 관리

이 아키텍처에서 컴퓨팅 노드는 RDMA 지원 네트워크 어댑터를 사용하여 InfiniBand 패브릭에 액세스합니다. 리프 계층은 서버 방향 연결을 제공하는 반면 스파인 계층은 서로 다른 네트워크 세그먼트 간의 통신을 지원합니다. 비차단 설계에는 연결된 다운링크에 비해 적절한 업링크 대역폭이 필요합니다.

대규모 AI 배포는 여러 개의 독립적인 네트워크 레일에 통신을 분산시켜 결함 격리 및 대역폭 활용도를 향상시킬 수도 있습니다. 호스트 측 제한으로 인해 고속 스위칭의 이점이 감소되는 것을 방지하려면 레일 정렬, 어댑터 배치, NUMA 선호도 및 GPU 토폴로지를 함께 고려해야 합니다.

03. NVIDIA Mellanox 920-9B210-00FN-0D0의 역할과 주요 특징

그만큼920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR스위치는 NVIDIA Quantum-2 QM9790 제품군에 속합니다. 외부에서 관리되는 패브릭용으로 설계된 비관리형 InfiniBand 스위칭 시스템으로, 가속화된 컴퓨팅 노드 간의 고밀도 연결과 고속 통신을 지원합니다.

다음920-9B210-00FN-0D0 사양네트워크 아키텍처 및 하드웨어 선택과 관련된 제품 특성을 요약합니다.

RDMA 기반 통신 최적화

원격 직접 메모리 액세스를 통해 참여 시스템은 CPU 처리 오버헤드를 줄이면서 등록된 메모리 영역 간에 데이터를 전송할 수 있습니다. AI 및 HPC 환경에서 이 기능은 효율적인 노드 간 통신을 지원하고 소프트웨어 관련 데이터 전송 비용을 줄일 수 있습니다.

호환되는 NVIDIA ConnectX 어댑터와 적절하게 구성된 소프트웨어 스택을 사용하면 애플리케이션에서 UCX, MPI, NCCL과 같은 프레임워크를 통해 RDMA 전송을 활용할 수 있습니다. GPU Direct RDMA는 하드웨어 플랫폼, 드라이버 및 애플리케이션 구성이 지원하는 경우 데이터 이동을 더욱 최적화할 수 있습니다.

적응형 라우팅 및 혼잡 관리

NVIDIA Quantum-2는 사용 가능한 네트워크 경로 전체에 트래픽을 분산할 수 있는 적응형 라우팅 메커니즘을 지원합니다. InfiniBand 혼잡 제어, 서비스 품질 기능, 가상 레인 관리가 결합된 이러한 기술은 트래픽 핫스팟을 해결하고 통신 안정성을 향상시키는 데 도움이 됩니다.

실제 이점은 패브릭 토폴로지, 라우팅 정책, 펌웨어 기능 및 서브넷 관리 구성에 따라 다릅니다. 네트워크 설계자는 이론적 스위칭 용량에만 의존하기보다는 대표적인 애플리케이션 트래픽에서 이러한 설정을 검증해야 합니다.

NVIDIA SHARP 네트워크 내 컴퓨팅

SHARP(NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol)를 사용하면 지원되는 집단 작업을 네트워크 패브릭 내에서 처리할 수 있습니다. SHARP는 지원되는 축소 작업 중에 교환되는 데이터의 양을 줄임으로써 선택된 AI 및 HPC 워크로드에 대한 통신 효율성을 향상시킬 수 있습니다. 배포에는 호환 가능한 펌웨어, 관리 구성 요소 및 애플리케이션 소프트웨어 지원이 필요합니다.

04. 전개 전략 및 네트워크 확장

배포920-9B210-00FN-0D0 InfiniBand 스위치 OPN 솔루션하드웨어 호환성, 패브릭 계획, 네트워크 검증 및 향후 용량 요구 사항을 다루는 구조화된 구현 프로세스를 따라야 합니다. 단계별 접근 방식은 구성 위험을 줄이고 성능 문제를 더 쉽게 식별할 수 있도록 해줍니다.

1단계: 하드웨어 및 물리적 인프라

• 스위치 SKU, 레거시 OPN, 랙 크기, 전원 공급 장치 요구 사항 및 P2C 공기 흐름 방향을 확인합니다.
• 링크 속도와 거리를 기준으로 호환되는 ConnectX 어댑터, OSFP 광 모듈, DAC 케이블 또는 활성 광 케이블을 선택하십시오.
• 케이블 라우팅, 랙 냉각, 전원 이중화 및 물리적 포트 할당을 계획합니다.
• 프로덕션 배포 전에 지원되는 펌웨어 버전과 하드웨어 상호 운용성을 확인하십시오.

2단계: 패브릭 구성 및 검증

QM9790은 비관리형 스위치이므로 패브릭 초기화 및 경로 구성을 위해 외부 InfiniBand 서브넷 관리자가 필요합니다. NVIDIA UFM은 지원되는 구성 요소와 함께 배포할 때 추가 패브릭 관리, 모니터링 및 운영 기능을 제공할 수 있습니다.

네트워크 관리자는 포트 링크 상태, 협상된 속도, 서브넷 검색, 라우팅 구성 및 종단 간 RDMA 연결을 확인해야 합니다. 해당하는 경우 애플리케이션 요구 사항에 따라 파티셔닝, 서비스 수준, 가상 레인, 혼잡 제어 및 적응형 라우팅을 구성합니다.

3단계: 확장 및 용량 계획

클러스터 확장에서는 스위치 기수, 사용 가능한 업링크 용량, 트래픽 분산 및 네트워크 계층 수를 고려해야 합니다. QM9790은 64개의 논리적 NDR 포트를 제공하지만 물리적 인터페이스 배열과 지원되는 케이블 브레이크아웃 구성은 포트 할당 계획에 정확하게 반영되어야 합니다.

대규모 배포의 경우 새 서버 랙을 수용하기 위해 추가 리프 및 스파인 스위치를 도입할 수 있습니다. 확장 계획에서는 중복성, 네트워크 레일 분리, 케이블 연결 거리 및 컴퓨팅 그룹 간에 필요한 대역폭 유지를 고려해야 합니다.

05. 운영, 모니터링 및 문제 해결

안정적인 InfiniBand 운영에는 링크 상태, 패브릭 상태, 정체 동작 및 워크로드 성능에 대한 지속적인 가시성이 필요합니다. NVIDIA UFM 및 호환되는 InfiniBand 진단 도구를 사용하여 네트워크 상태를 모니터링하고 비정상적인 통신 패턴을 식별할 수 있습니다.

권장되는 운영 모니터링에는 다음이 포함됩니다.

• 링크 상태:협상된 속도, 물리적 오류, 링크 플랩 및 포트 다운 이벤트를 모니터링합니다.
• 대역폭 활용도:전송 및 수신된 트래픽을 추적하여 초과 가입된 링크를 식별합니다.
• 혼잡도 표시기:전송 대기 카운터, 흐름 제어 활동 및 트래픽 핫스팟을 검사합니다.
• 패브릭 관리:서브넷 관리자 가용성, 라우팅 일관성, 토폴로지 변경 사항, 검색된 장치를 확인하세요.
• 애플리케이션 성능:네트워크 측정값을 NCCL, MPI 및 프로덕션 워크로드 지표와 연관시키십시오.

네트워크 수준 성능 테스트를 위해 엔지니어는 다음과 같은 InfiniBand 유틸리티를 사용할 수 있습니다.ibstat,ibdiagnet,성능 쿼리및 다음과 같은 RDMA 성능 도구ib_write_bw그리고ib_send_lat. NVIDIA NCCL 테스트 및 MPI 벤치마크는 애플리케이션 수준 통신 성능에 대한 추가적인 통찰력을 제공할 수 있습니다.

성능 저하 문제를 해결할 때는 먼저 물리적 연결을 확인한 다음 포트 속도, 오류 카운터, 패브릭 라우팅 및 정체 표시기를 확인하십시오. 네트워크 메트릭이 양호한 상태로 유지되면 호스트 측 PCIe 대역폭, NUMA 배치, GPU 선호도, 드라이버 버전 및 애플리케이션 통신 설정을 조사하십시오.

성능 승인에는 유효 대역폭, 통신 대기 시간, 집합적 작업 처리량 및 워크로드 완료 시간이 포함되어야 합니다. P50, P95 및 P99 대기 시간 측정은 지속되거나 버스트가 많은 트래픽에서 성능 변동성을 파악하는 데 도움이 될 수 있습니다. 승인 임계값은 프로젝트별 서비스 목표와 측정된 기준 데이터를 사용하여 정의되어야 합니다.

06. 솔루션 가치 및 성능 평가

그만큼920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR스위칭 플랫폼은 까다로운 분산 컴퓨팅 환경에 필요한 네트워크 용량과 아키텍처를 제공합니다. 주요 가치는 고속 통신, 확장 가능한 패브릭 설계 및 RDMA 지원 컴퓨팅 시스템과의 효율적인 통합을 가능하게 하는 데 있습니다.

인프라 관점에서 볼 때 400Gb/s NDR 연결과 높은 포트 밀도는 GPU 클러스터 크기가 증가함에 따라 네트워킹 제약을 줄일 수 있습니다. 고급 InfiniBand 기능은 보다 효율적인 트래픽 분산을 지원하는 동시에 외부 패브릭 관리는 운영 가시성과 문제 해결을 향상시킵니다.

완전한 가치 평가에서는 애플리케이션 처리량, GPU 활용도, 네트워크 안정성 및 운영 효율성의 측정 가능한 개선 사항과 배포 비용을 비교해야 합니다. 평가팀920-9B210-00FN-0D0 가격또한 호환 가능한 어댑터, 광학 장치, 케이블, 관리 소프트웨어, 전원 및 지원 요구 사항도 고려해야 합니다.

기술 평가 원칙:InfiniBand 네트워크 업그레이드의 성공 여부는 재현 가능한 벤치마킹 및 프로덕션 워크로드 검증을 통해 결정되어야 합니다. 대역폭 전환만으로는 훈련 시간이나 애플리케이션 대기 시간이 일정하게 감소하는 것을 보장하지 않습니다.

07. 결론 및 향후 개발

그만큼엔비디아 멜라녹스 920-9B210-00FN-0D0InfiniBand 스위치는 AI 교육, HPC 애플리케이션 및 가속화된 데이터 센터 환경을 위해 설계된 고밀도 네트워킹 솔루션입니다. NVIDIA Quantum-2 기술, 64개의 NDR 포트, 최대 51.2Tb/s의 총 양방향 처리량을 통해 확장 가능하고 대기 시간이 짧은 컴퓨팅 패브릭을 구축하기 위한 기반을 제공합니다.

성공적인 배포에는 하드웨어 설치 이상의 것이 필요합니다. 잘 설계된 솔루션은 네트워크 토폴로지, RDMA 지원 어댑터, 광 상호 연결, 서브넷 관리자 구성, 워크로드 조정 및 운영 모니터링을 조정해야 합니다.

GPU 클러스터가 확장되고 워크로드 분산이 점점 더 통신 집약적으로 변하면서 고성능 InfiniBand 패브릭은 현대 가속 컴퓨팅 인프라의 중요한 구성 요소로 남을 것입니다. QM9790은 안정적인 NDR 연결과 더 큰 다중 랙 네트워크 아키텍처를 향한 명확한 경로를 원하는 조직에 실용적인 옵션을 제공합니다.

기술 참조:NVIDIA QM97XX 1U NDR 400Gbps InfiniBand 스위치 시스템 사용자 설명서. 최종 배포 사양, 지원되는 기능, 펌웨어 호환성 및 물리적 구성은 정확한 제품 SKU에 대한 설명서를 참조하여 확인해야 합니다.

NVIDIA Mellanox InfiniBand 네트워킹 솔루션

Beijing Zhongke Xinyuan Technology Co., Ltd.는 AI 데이터 센터, GPU 클러스터, HPC 시스템 및 엔터프라이즈 인프라를 위한 NVIDIA Mellanox 네트워킹 하드웨어 및 솔루션 지원을 제공합니다. 당사의 제품 포트폴리오에는 NVIDIA Quantum InfiniBand 스위치, ConnectX 네트워크 어댑터, 광 트랜시버 및 고속 DAC/AOC 케이블이 포함됩니다.

찾고 있는 고객을 위한920-9B210-00FN-0D0 호환네트워킹 구성 요소, 제품 선택 지원, 가용성 정보 또는 프로젝트 견적을 통해 당사 팀은 모델 식별, 구성 일치 및 조달 계획을 지원할 수 있습니다.