N

NVIDIA Mellanox 920-9B110-00FH-0D0 인피니밴드 스위치 기술 솔루션

프로젝트 배경 및 요구사항 분석

인공지능 훈련, HPC 시뮬레이션, 분산 스토리지를 지원하는 현대 데이터 센터는 네트워크 계층에서 대역폭과 지연에 대한 이중 압력을 직면합니다. GPU 노드 밀도는 계속 증가합니다.단위 간 통신에 대한 대기 시간 및 지터 (jitter) 가 전체 클러스터 효율을 제한하는 요소가 될 때많은 조직의 실질적인 질문은 400Gb/s NDR를 채택할 것인지 아닌, 여전히 결정적인 성능을 제공하는 검증된 비용 효율적인 HDR 조직을 구축하는 것입니다.

이러한 프로젝트의 전형적인 요구 사항은 낮은 지연 RDMA 전송, 손실없는 직물 동작, 기존 EDR 및 FDR 인프라와 후향 호환성 및 명확한 확장 경로입니다.NVIDIA Mellanox 920-9B110-00FH-0D0은 NVIDIA 퀀텀 제품군 내의 200Gb/s HDR InfiniBand 스위치로 이러한 요구 사항을 충족시킬 수 있습니다..

전체 네트워크 및 시스템 아키텍처 설계

권장 아키텍처는 200Gb/s HDR 링크에 기반한 2단계 척추 잎 인피니밴드 조직입니다. 잎 스위치는 컴퓨팅 노드, 스토리지 타겟 및 관리 서버를 연결합니다.척추 스위치는 잎 간 연결과 경로 다양성을 제공합니다.이 디자인은 홉 카운트를 낮게 유지하고 HPC 및 AI 워크 로드를 지배하는 동서 트래픽에 대한 차단되지 않는 대역폭을 보장합니다.

엔드포인트 계층에서는 호스트 채널 어댑터가 RDMA 모드로 작동하여 CPU 개입없이 메모리-메모리 전송을 가능하게합니다.그리고 집단적인 가속관리 및 텔레메트리 트래픽은 동일한 물리적 인프라를 공유하지만 QoS 정책을 통해 격리되어 있으므로 모니터링은 생산 작업 부하에 간섭하지 않습니다.

주요 설계 원칙은 다음과 같습니다.

• 플래트 토폴로지는 지연 시간을 최소화하고 문제 해결을 단순화합니다.
• 레벨 간의 차단되지 않는 연결 또는 저중계열 연결
• 일관성 있는 HDR 끝에서 끝까지, 필요한 경우 EDR/FDR 역 호환성
• 높은 가용성 및 로드 밸런싱을 위한 불필요한 경로
• 운영 일관성을 위한 표준 인피니밴드 관리

NVIDIA Mellanox 920-9B110-00FH-0D0의 역할과 주요 특징

NVIDIA Mellanox 920-9B110-00FH-0D0은 이 섬유의 핵심 빌딩 블록으로 사용된다. 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR 플랫폼으로서,40 QSFP56 포트와 16Tb/s의 비 차단 스위칭 용량을 1U 형식 요인으로 제공합니다.이 밀도는 높은 뿌리 잎을 지원하고 밀집 한 래크에 케이블을 단순화합니다.

920-9B110-00FH-0D0 사양을 검토하는 팀의 경우 스위치가 RDMA, MPI 및 NVIDIA SHARP를 지원합니다.첨단 혼잡 제어 및 적응형 라우팅은 인공지능 훈련 및 MPI 워크 로드에서 일반적인 꼬리 지연 및 인스캐스트 문제를 목표로합니다.. 920-9B110-00FH-0D0 InfiniBand 스위치 OPN 또한 운영 학습 곡선을 줄이는 표준 InfiniBand 관리 도구와 통합됩니다.

920-9B110-00FH-0D0 InfiniBand 스위치 OPN 솔루션을 계획 할 때, 건축가는 QSFP56 케이블, 호스트 채널 어댑터,그리고 펌웨어 버전설계 단계 초에 920-9B110-00FH-0D0 데이터 시트를 검토하면 조달 전에 전력, 냉각 및 랙 공간 요구 사항을 검증 할 수 있습니다.

배포 및 확장 권고

전형적인 배포는 32에서 64 개의 컴퓨팅 노드로 구성된 파일럿 포드에서 시작됩니다. 920-9B110-00FH-0D0 잎 스위치 쌍에 연결됩니다. 클러스터가 성장함에 따라 척추 연결이 추가됩니다.잎 사이를 차단하지 않는 대역폭을 유지합니다.이 단계적 접근 방식은 전체 규모의 배포 전에 지연 시간 및 처리량을 검증 할 수 있습니다.

스케일링을 위해, 직물을 대칭적으로 유지하십시오: 잎과 척추 용량을 일치하는 증가량으로 추가하여 과잉 가입 비율이 예측 될 수 있습니다.케이블 관리 및 항구 표기판은 처음부터 표준화되어야 합니다., 고밀도 QSFP56 배포가 물리적 레이아웃이 불일치하면 유지하기가 어려워지기 때문입니다.

아래 표는 대표적인 2단계 설계 고려 사항을 요약합니다.

운영, 모니터링, 문제 해결 및 최적화

운영 성공은 가시성에 달려 있습니다. 인피니밴드 섬유는 링크 오류, 혼잡 이벤트 및 버퍼 활용에 대한 카운터를 제공합니다.이 자료는 지속적으로 수집되고 작업 스케줄러 데이터와 상관관계를 유지해야 합니다., 그래서 성능 회귀는 추측하기보다는 특정 직물 세그먼트에 추적 될 수 있습니다.

일반적인 문제 해결 시나리오에는 신용 스탠드, 잘못된 구성 QoS 및 스위치와 어댑터 사이의 펌웨어 불일치 등이 있습니다. 구조화된 체크리스트로팅 정책을 확인, 혼잡 텔레메트리를 검사 할 수 있습니다. 중간의 해결 시간을 줄일 수 있습니다. 최적화 노력은 평균 처리량보다는 꼬리 지연에 초점을 맞추어야합니다.HPC와 인공지능 작업 부하가 최악의 경우 행동에 민감하기 때문에.

조달 및 라이프 사이클 계획에 있어서, 팀은 종종 920-9B110-00FH-0D0 가격과 920-9B110-00FH-0D0 판매 옵션을 승인된 채널에 걸쳐 비교합니다. 가격 설정에 따라,지원 수준, 지역, 그래서 배급자와 NVIDIA 기업 대표와의 초기 참여가 권장됩니다.

요약 및 가치 평가

NVIDIA Mellanox 920-9B110-00FH-0D0은 RDMA, HPC 및 AI 클러스터 상호 연결에 대한 검증된 200Gb/s HDR 기반을 제공합니다.그리고 손실 없이 낮은 지연 시간 운송을 가능하게 합니다., 그것은 실제 세계의 클러스터 효율을 제한하는 병목을 해결합니다. 네트워크 아키텍트와 사전 판매 엔지니어,그것은 HDR InfiniBand 가재에 대한 실용적이고 확장 가능한 빌딩 블록을 대표합니다. 앞으로 나아갈 확실한 길을 가지고 있습니다..