엔비디아 멜라노크스 MQM8790-HS2F 인피니밴드 스위치 기술 백서

NVIDIA Mellanox MQM8790-HS2F 인피니밴드 스위치 기술 백서: RDMA/HPC/AI 클러스터를 위한 저연속 인터커넥트를 최적화

이 기술 백서는 네트워크 아키텍트, 사전 판매 엔지니어 및 운영 관리자를 대상으로합니다.NVIDIA 멜라노크스 MQM8790-HS2F200Gb/s HDR InfiniBand 스위치, RDMA 가속된 고성능 컴퓨팅 (HPC) 에서 낮은 지연 시간 인터 커넥트 최적화를 위한 포괄적인 솔루션 설계인공지능 클러스터이 문서는 아키텍처 설계, 핵심 기술, 배포 및 확장 전략, 운영 모니터링,데이터집약적 인 다음 세대의 컴퓨팅 인프라를 위한 재생 가능한 청사진을 제공하는.

1프로젝트 배경 및 요구사항 분석

인공지능 모델의 매개 변수가 트리리언 규모의 크기를 달성하고 HPC 시뮬레이션이 점점 더 세밀한 해상도를 요구함에 따라기본 네트워크 조직은 지원 요소에서 주요 성능 결정 요소로 진화했습니다.예를 들어 분산 교육 작업은 상호 연결이 충분한 대역폭과 대기 특성을 갖추지 않으면 실행 시간의 40~60%를 집단 통신 작업에 할 수 있습니다.기업 IT 팀의 경우, 이것은 인공지능 이니셔티브의 시장 진출 시간이 길어지고 GPU 투자가 제대로 활용되지 않는 것으로 나타납니다.

광범위한 고객 참여를 통해 확인 된 주요 요구 사항은 다음을 포함합니다.

• 아주 낮고 예측 가능한 대기시간:MPI와 RDMA 트래픽을 위한 200nS 단절 스위칭, 최소한의 지터와 함께
• 막지 않는 처리량:모든 항구에서 동시에 지속되는 라인 속도 성능, 핫스팟 형성과 꼬리 지연 감소를 제거합니다.
• 네트워크 내 계산:하드웨어 가속 (all-reduce, broadcast, barrier) 은 호스트 CPU의 부하를 덜어주고 데이터 이동을 줄이기 위한 것이다.
• 확장 가능한 토폴로지 지원:과도한 스위치 계층 없이 수백에서 수천 개의 노드를 아우르는 FAT 트리, 토러스 또는 드래곤플라이+ 토폴로지를 구축할 수 있습니다.
• 단순화된 관리:통일된 직물 모니터링, 자동 토폴로지 발견, 그리고 능동적인 오류 탐지

의MQM8790-HS2F이 솔루션 아키텍처의 최적의 빌딩 블록으로 선택되었습니다.MQM8790-HS2F 데이터 시트200Gb/s HDR의 40개의 포트를 확인하고, 130ns 이하의 절단 지연, 그리고 위의 요구사항에 직접 매핑되는 SHARP v3.0 네트워크 컴퓨팅 용량을 지원합니다.

2전체 네트워크 / 시스템 아키텍처 설계

제안된 아키텍처는 최대 1,200개의 노드까지 클러스터를 위한 2단계 잎-추상 지방 나무 토폴로지를 사용하며, 더 큰 배포를 위해 3단계까지 확장할 수 있는 옵션이 있다.이 토폴로지는 성능을 균형 잡습니다., 비용 및 관리 가능성, 전체 벡션 대역폭과 조직 전체에 결정적 지연을 제공합니다.

각 잎 스위치는 NVIDIA ConnectX-6 또는 ConnectX-7 HDR 호스트 채널 어댑터를 통해 최대 16 개의 컴퓨팅 노드를 연결합니다.MQM8790-HS2F 호환광학 생태계는 연결 거리에 따라 활성 광학 케이블 (AOC) 와 수동 구리 DAC를 모두 포함합니다.MQM8790-HS2F 200Gb/s HDR 40-포트 QSFP56설계는 효율적인 래크 공간 활용을 위해 1U 형식 인수를 유지하면서 래크 수준 집합에 충분한 밀도를 제공합니다.

1,200개의 노드를 초과하는 클러스터의 경우, 추가적인 슈퍼 스핀 레이어와 함께 3단계 토폴로지가 권장됩니다.MQM8790-HS2F 인피니밴드 스위치 솔루션모든 계층에 걸쳐 역할을 유지하여 절감 및 구성 관리를 단순화합니다. 하나의 스위치 유형은 가장자리에서 핵심까지 전체 직물을 지원합니다.

3. NVIDIA Mellanox MQM8790-HS2F의 역할 및 주요 기능

의NVIDIA 멜라노크스 MQM8790-HS2F이 아키텍처의 기본 스위칭 요소로 작용하며, 낮은 지연 시간 인터 커넥트 최적화를 직접 주도하는 다음과 같은 차별화된 기능을 제공합니다.

• HDR 200Gb/s 포트 속도:이전 세대 EDR (100Gb/s) 의 대역폭을 두 배로 늘리고, 혼합 속도의 환경에서는 HDR100 (100Gb/s) 과 후향 호환성을 유지하며 이전 투자를 보호합니다.
• 130ns 이하의 지연시간으로 커트-스루스 스위칭:스위치 내에서 패킷이 보내는 시간을 최소화하여 지연 민감한 RDMA 작업 및 집단 통신 패턴에 중요합니다.
• SHARP v3.0 네트워크 컴퓨팅:호스트 CPU에서 스위치 조직으로 줄이기 작업을 처리하여 데이터 트래픽을 최대 30%까지 줄이고 AI 훈련에 대한 모든 줄이기 성능을 최대 2배까지 가속화합니다.
• 적응적인 라우팅 및 혼잡 제어:혼잡 플래그와 신용 기반 흐름 제어로 RDMA 성능의 전제 조건인 손실 없는 운영을 보장하여 여러 경로에서 트래픽을 동적으로 분배하여 핫스팟을 피합니다.
• 통합 텔레미터 및 진단:포트 버퍼 점유율, 링크 오류 비율 및 트래픽 패턴에 대한 세분화된 가시성을 제공하여 능동적인 최적화 및 빠른 결함 격리를 가능하게합니다.

자세한 자료에 따르면MQM8790-HS2F 사양, 스위치는 전향 및 역류 공기 흐름 양식을 지원하며 다양한 데이터 센터 냉각 디자인을 수용합니다.이중 리던던트 전원 공급 장치와 열 교환 가능한 팬 모듈은 신뢰성 및 서비스성을 더욱 향상시킵니다..

4배포 및 확장 권고 (유형 토폴로지)

균형 잡힌 비용 효율적인 초기 배치를 위해 다음의 최선 사례가 권장됩니다.

• 노드에서 잎 연결:200Gb/s HDR 케이블 (≤3m에 대한 구리 DAC, ≤30m에 대한 AOC) 을MQM8790-HS2F 호환QSFP56 커넥터. 호스트 채널 어댑터가 스위치 포트와 같은 링크 속도와 FEC 설정을 위해 구성되어 있는지 확인하십시오.
• 잎과 척추 연결:200Gb/s AOC 또는 멀티모드 광섬유 트랜시버를 100m까지의 거리에 배치합니다.MQM8790-HS2F자동으로 링크 매개 변수를 협상하여 배포를 단순화합니다.
• 과잉 가입 계획:일반용 인공지능/HPC 워크로드의 경우, 2: 1 오버 서브스크립션 비율 (200Gb/s 업링크 당 두 개의 컴퓨팅 노드) 은 비용 성능의 단점을 제공합니다. 지연성 최적화 또는 저장량 집중 워크로드의 경우,1항1 (완전) 과잉 가입
• 확장 경로:새로운 래크를 추가 할 때, 단순히 추가 잎 스위치를 배치하고 기존 척추 스위치에 연결합니다.더 높은 근로로 척추 층을 업그레이드하거나 슈퍼 척추 계층을 추가.

그 결과,MQM8790-HS2F 가격그리고 소유비용 전체,통일 아키텍처는 모든 직물 계층에 동일한 스위치 유형을 사용하는 것으로 생각됩니다.이 단순화는 사고 대응을 가속화하고 하드웨어 고장의 경우 다운타임을 최소화합니다.

5운영 모니터링, 문제 해결 및 최적화

효율적인 관리MQM8790-HS2F 인피니밴드 스위치환경은 모니터링, 진단 및 성능 조정에 체계적인 접근을 요구합니다.

최선 사례를 모니터링:

• NVIDIA의 유니피드 팩브릭 매니저 (UFM) 를 배포하여 토폴로지 지도, 링크 이용 힐맵 및 실시간 대기 시간 히스토그램을 포함하여 중앙 집중식 팩브릭 가시성을 제공합니다.
• 포트별 오류 카운터 (특히 CRC 오류, 기호 오류 및 연결 다운 이벤트) 를 모니터링하여 손상된 광학 또는 케이블을 조기에 식별하십시오.미리 정의된 임계값에 SNMP 함정을 설정하여 능동적인 유지보수를 가능하게 합니다.
• 스위치의 통합된 성능 카운터를 통해 SHARP 집단 운영 효율성을 추적하고 응용 수준에서 집단 커뮤니케이션 패턴을 최적화하는 기회를 식별합니다.

일반적인 문제 해결:

• 특정 포트에서 링크 CRC 오류:케이블 좌석 및 광적 커넥터의 청결을 확인합니다. 오류가 지속되면 케이블 또는 트랜시버를 교체합니다.MQM8790-HS2F 데이터 시트항구별로 상세한 진단 기준을 제공합니다.
• 예기치 않은 대기 픽:UFM의 트래픽 흐름 분석을 사용하여 혼잡 핫스팟을 확인합니다. 적응 라우팅은 특정 트래픽 패턴에 대한 재구성이 필요할 수 있습니다.최소가 아닌).
• 직물 파티션 문제:적절한 파티션 키 (PKey) 및 IPoIB 서브넷 관리자 구성을 보장합니다. 스위치의 내장 서브넷 관리자는 자동적인 트러브 발견을 제공합니다.하지만 수동 조정은 여러 임차 환경에 필요한 수 있습니다..

성능 최적화 팁:

• 인공지능 교육 워크로드의 경우 SHARP v3.0을 활성화하고 스위치의 오프로드 기능을 사용하기 위해 집단 통신 라이브러리 (NCCL, OpenMPI) 를 구성합니다.이것은 큰 메시지 크기에 대해 최대 2x까지 모든 감소 대기 시간을 줄일 수 있습니다..
• 지연에 민감한 HPC 애플리케이션의 경우, 예측 가능한 지연에 대한 일부 경로 다양성을 교환하여 결정적 경로 선택을 강제하기 위해 적응 라우팅을 비활성화하는 것을 고려하십시오.
• NVIDIA가 정기적으로 성능 향상 및 보안 패치를 출시하기 때문에 주기적으로 스위치 펌웨어를 검토하고 업데이트하십시오.MQM8790-HS2F 데이터 시트버전 호환성 매트릭스

6요약 및 가치 평가

의NVIDIA 멜라노크스 MQM8790-HS2FRDMA/HPC/AI 클러스터를 구축하거나 업그레이드하는 조직에 매력적인 가치 제안을 제공합니다. 포트당 200Gb/s를 제공함으로써,그리고 1U 내에서 네트워크 컴퓨팅 가속40포트 체스, 스위치는 현대 데이터집약적인 작업량에서 가장 엄격한 상호 연결 요구 사항을 해결합니다.

주요 가치 동력은 다음과 같습니다.

• 성능 확장성:방치되지 않는 지방나무 구조는MQM8790-HS2F 200Gb/s HDR 40-포트 QSFP56기본 토폴로지 변경 없이 노드 규모는 200에서 10,000+ 노드입니다.
• 운영 효율성:모든 직물 계층에 하나의 스위치 타입을 사용하면 부품 재고를 줄이고, 훈련을 단순화하고, 문제 해결을 가속화할 수 있습니다.
• 투자 보호:HDR100 및 EDR와의 후속 호환성은 단계적 업그레이드를 허용하며 스위치의 형식 요소와 포트 밀도는 미래의 400G (NDR) 로드맵에 맞춰집니다.
• 증명된 생태계:NVIDIA의 ConnectX 어댑터, 블루필드 DPU 및 UFM 관리 플랫폼과 깊은 통합은 끝에서 끝까지 성능 예측성을 보장합니다.

도입할 준비가 된 조직의 경우,MQM8790-HS2F 판매NVIDIA의 전 세계 승인 배급자 네트워크를 통해 현장 예비 부품, 고급 교체 및 펌웨어 업데이트 구독을 포함한 포괄적인 지원 옵션을 포함합니다. 자세한MQM8790-HS2F 사양및 참조 디자인은 NVIDIA의 기술 문서 포털을 통해 사용할 수 있으며 대규모 브라운 필드 또는 그린 필드 배포에 맞춤형 토폴로지 컨설팅이 제공됩니다.