NVIDIA Mellanox MQM8790-HS2F InfiniBand 스위치 기술 솔루션

NVIDIA Mellanox MQM8790-HS2F 인피니밴드 스위치 기술 솔루션

1프로젝트 배경 및 요구사항 분석

인공지능 (AI) 훈련 클러스터가 수천개의 GPU와 고성능 컴퓨팅 (HPC) 시스템으로 확장되면서컴퓨팅 노드를 연결하는 네트워크 조직은 중요한 성능 결정자가되었습니다.이러한 환경에서 지연 시간은 단순히 측정값이 아닙니다. 그것은 응용 프로그램 성능, 해결 시간 및 전체 클러스터 효율성에 직접 영향을 미칩니다.MPI (메시지 전달 인터페이스) 집단 작업과 모든 모든 커뮤니케이션 패턴에 크게 의존하는 작업 부하에 대 한, 컴퓨팅 유체역학 및 양자화학 시뮬레이션 微초 수준 지연 증가도 추가 실행 시간으로 번역 할 수 있습니다. 전통적인 이더넷 네트워크,심지어 RDMA를 통해 컨버지드 이더넷 (RoCE), 종종 이러한 까다로운 애플리케이션에 의해 요구되는 결정적 인 낮은 대기 시간 및 혼잡 없는 운영을 제공하기 위해 어려움을 겪습니다.

이 도전은 세 가지 동시 추세에 의해 증폭됩니다. 첫째, AI 모델의 성장 규모 (지금은 수십억 개의 매개 변수를 초과) 는 수천 개의 GPU를 통해 거대한 평행성을 요구합니다.최소 대기 변동으로 높은 처리량을 유지할 수 있는 직물을 필요로 합니다.두 번째로, HPC와 AI 워크로드의 컨버전스는 단일 조직이 MPI 기반 통신 패턴과 NCCL 기반 GPU 집단 작업을 효율적으로 지원해야한다는 것을 의미합니다.가동 효율은 조직이 규모에서 관리 될 수 있어야 합니다., 포괄적 인 모니터링 및 자동 최적화 기능.구조화된 기술 솔루션이 필요합니다. 낮은 지연시간을 가진 고성능 인피니밴드 스위치를 활용하는 것, 고급 혼잡 관리 및 네트워크 내 컴퓨팅 가속을 통해 예측 가능한 성능을 제공합니다.

2전체 네트워크 / 시스템 아키텍처 설계

제안된 아키텍처는NVIDIA 멜라노크스 MQM8790-HS2F잎 계층으로 연결된 스위치, 더 높은 포트 밀도 (예를 들어 QM9700 시리즈와 같은 64 포트 400Gb/s NDR) 의 스핀 스위치로 연결된 거대 규모의 직물.아키텍처는 완전한 빗방울 대역폭으로 차단되지 않는 통신을 지원하도록 설계되었습니다., 모든 컴퓨팅 노드가 다른 모든 노드와 통신할 수 있도록 합니다.

2,000 노드 클러스터의 전형적인 배포에서 아키텍처는 다음을 포함한다.

• 잎층:20MQM8790-HS2F 인피니밴드 스위치단위, 각각 40개의 QSFP56 포트가 200Gb/s HDR에서 작동합니다.각 잎 스위치는 50개의 컴퓨팅 노드 (QSFP56에서 2×QSFP56 케이블을 통한 200Gb/s 직결 연결과 100Gb/s HDR100 브레이크오웃의 혼합을 사용하여) 로 연결된다..
• 척추 층:4개의 QM9700 스위치 (또는 동등한 고밀도 스위치) 는 각각 400Gb/s NDR의 64개의 포트를 가지고 있으며, 잎 간 연결을 제공한다.
• 계산 노드:각 노드에는 하나 이상의 ConnectX-6 HDR 또는 ConnectX-7 NDR 어댑터가 장착되어 있으며, 수동 구리 또는 활성 광 케이블을 통해 잎 스위치에 연결된다.
• 관리 네트워크:스위치 관리를 위한 별도의 아웃-밴드 이더넷 네트워크, 중앙 집중식 직물 모니터링 및 최적화를 위한 NVIDIA 유니피드 패브릭 매니저 (UFM) 플랫폼과 통합.

건축은MQM8790-HS2F 200Gb/s HDR 40-포트 QSFP56스위치 당 총 8Tb/s의 잎 스위칭 용량을 제공할 수 있는 구성입니다. HDR100 브레이크아웃의 사용은 유연한 연결 옵션을 가능하게 합니다.각 200Gb/s 포트는 단일 200Gb/s 엔드포인트 또는 두 개의 100Gb/s 엔드포인트를 지원할 수 있습니다., 서로 다른 인터페이스 속도를 가진 이질적인 컴퓨팅 노드를 수용합니다.

3. 솔루션에서 NVIDIA Mellanox MQM8790-HS2F의 역할 & 주요 특징

이 건축물 안에서,MQM8790-HS2FHPC 및 AI 워크로드에 필수적인 고급 기능을 지원하면서 컴퓨팅 노드에 낮은 지연, 높은 대역폭의 연결을 제공하는 기본 잎 스위치 역할을 합니다.주요 기술 특징은 전체 솔루션의 성공에 결정적입니다.:

• 100나노초 이하의 포트-포트 지연:지연에 민감한 MPI 집단 및 모든 감소 작업에 필수적인 결정적 낮은 지연을 제공합니다.
• 200Gb/s HDR 인피니밴드 포트 40개:컴팩트 1U 형식 인체에서 8Tb / s 전체 스위칭 용량을 제공하여 포트 밀도를 극대화하고 랙 공간 소비를 줄입니다.
• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 지원:MPI 집단 작전을 위해 네트워크 내 컴퓨팅 가속을 가능하게 하며, CPU/GPU에서 통신 작업 부하의 20%까지를 제거합니다.
• 어댑티브 라우팅:실시간 혼잡 메트릭을 기반으로 사용 가능한 직물 경로에서 트래픽을 동적으로 분배하여 처리량을 최적화하고 대기 변수를 최소화합니다.
• 혼잡 조절:네트워크 핫스팟의 성능 저하를 방지하기 위해 고급 혼잡 관리 메커니즘 (패킷 수준의 흐름 제어 및 혼잡 알림) 을 구현합니다.
• HDR100 파업 지원:각 200Gb/s 포트를 두 개의 독립적인 100Gb/s 포트로 구성하여 혼합 속도 환경에 대한 배포 유연성을 제공합니다.
• 포괄적인 관리 인터페이스:IBTA를 준수하는 서브넷 관리 (SM), SNMP, CLI, 웹 UI 및 중앙 집중식 섬유 관리에 대한 UFM와의 통합을 지원합니다.
• 에너지 효율:230W 이하의 전형적인 전력 소비, 냉각 요구 사항이 낮아지고 PUE가 향상되는 데 기여합니다.

이러한 특징은MQM8790-HS2F 데이터 시트, 세부적인 성능 곡선, 열 사양 및 래크 레이아웃 도구에 통합하기위한 기계적 도면을 포함합니다.

4배포 및 확장 권고 (유형 토폴로지 설명)

초기 배포를 위해, 우리는 포드 레벨 아키텍처에 기반한 모듈 확장 전략을 추천합니다.약 400개의 컴퓨팅 노드를 지원하며, 전체 빗방향 대역폭을 지원합니다..MQM8790-HS2F 인피니밴드 스위치 솔루션컴퓨터 용량이 증가함에 따라 포드를 추가함으로써 점진적인 확장을 가능하게 합니다. 척추 계층은 통일된 조직을 위한 포드 간의 연결을 제공합니다.

단일 포드 (400 개의 컴퓨팅 노드) 의 전형적인 토폴로지:

• 잎 스위치:4 × MQM8790-HS2F, 각각 40개의 포트를 200Gb/s로 사용한다. 계산 노드 연결을 위해 잎당 36개의 포트를 사용한다 (HDR100 브레이크아웃을 사용하여 잎당 최대 72개의 노드를 지원한다).잎당 4개의 포트가 척추 업링크에 사용됩니다..
• 척추 스위치:2 × QM9700 (또는 동등한 64-포트 NDR 스위치), 각각 400Gb/s 업링크 (QSFP56에서 QSFP-DD 케이블을 사용하는 4×200Gb/s) 를 통해 4개의 잎 스위치 모두에 연결된다.
• 계산 노드:400개의 노드, 각각의 노드는 단일 200Gb/s 또는 이중 100Gb/s HDR100 연결을 통해 잎 스위치에 연결됩니다.

단일 캡슐을 넘어 확장:

• 계산 용량이 필요하면 추가 포드 (각 4개의 잎 MQM8790-HS2F 스위치) 를 추가합니다.
• 추가 QM9700 또는 NDR 스위치를 사용하여 더 높은 수준의 척추 (수퍼스핀) 층을 통해 포드를 연결하십시오.
• 가죽을 사용함으로써MQM8790-HS2F모든 잎 위치에 걸쳐서, 전체 조직에 걸쳐 균일한 지연과 관리를 보장합니다.

사용 시MQM8790-HS2FHDR100 휴식 모드에서는 다음의 케이블링 지침이 적용됩니다.

2,000 노드를 초과하는 대규모 직물에서는 UFM의 직물 시뮬레이션 기능을 사용하여 배치 전에 토폴로지 설계 및 혼잡 행동을 검증하는 것이 좋습니다.

5운영 및 유지보수: 모니터링, 문제 해결 및 최적화

MQM8790-HS2F 기반 인피니밴드 천체의 운영 라이프 사이클은 모니터링, 문제 해결 및 최적화에 대한 체계적인 접근을 요구합니다.중앙 관리 및 모니터링 도구로 NVIDIA UFM 플랫폼을 배포하는 것이 좋습니다., 직물 성능, 대기 시간 측정 및 혼잡 패턴에 대한 실시간 가시성을 제공합니다.

추적해야 할 주요 모니터링 메트릭:

• 포트 레벨 지연:전체 조직에서 끝에서 끝까지의 지연시간, 지연시간의 한계를 초과하는 포트에 대한 경고.
• 생산량 및 사용량:전체 및 포트 매출량, 사용량이 부족하거나 과다한 링크를 식별합니다.
• 혼잡 지표:패킷 드롭, 일시 중지 프레임, 혼잡 알림 이벤트
• 직물 건강:연결 상태, 오류 카운터, 온도/전력 텔레미터

일반적인 문제 해결 프로토콜:

1. 지연 감소:UFM의 지연 분석 도구를 사용하여 증가된 지연을 경험하는 특정 경로 또는 포트를 식별하십시오. 적응 라우팅의 혼잡 또는 잘못된 구성을 확인하십시오.
2. 링크 오류 또는 삭제:물리적 연결 (케이블, 광학) 과 포트 오류 카운터를 검사합니다.MQM8790-HS2F 호환케이블과 광학이MQM8790-HS2F 사양.
3. 서브넷 관리 문제:서브네트 관리자 (SM) 가 실행되고 fabric 토폴로지가 올바르게 발견되었는지 확인합니다. SM 실패 전환 이벤트를 확인합니다.

최적화 권장 사항:

• 어댑티브 라우팅 조정:관찰된 트래픽 패턴을 기반으로 라우팅 알고리즘 매개 변수를 조정합니다. UFM를 사용하여 생산 조직에 적용하기 전에 다른 라우팅 정책을 시뮬레이션합니다.
• 혼잡 제어 구성:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• 펌웨어 및 소프트웨어 업데이트:성능 개선 및 새로운 기능에 액세스하기 위해 스위치 펌웨어와 UFM 소프트웨어를 정기적으로 업데이트하십시오.
• 정기적인 audits:케이블, 전력 및 냉각에 대한 정기적인 감사를 수행하여 대규모의 운영 신뢰성을 보장합니다.

6요약 & 가치 평가

의NVIDIA 멜라노크스 MQM8790-HS2F-기반 기술 솔루션은 RDMA/HPC/AI 클러스터에서 낮은 지연의 상호 연결을 최적화하는 포괄적이고 현장 검증 된 방법론을 제공합니다.이 스위치의 40개의 포트를 200Gb/s HDR InfiniBand로 활용함으로써, 100나노초 미만의 지연, SHARP 네트워크 컴퓨팅, 적응형 라우팅 기능,조직은 규모에서 예측 가능한 성능을 제공하는 직물을 구축할 수 있으며 동시에 관리를 단순화하고 운영 전반 비용을 줄일 수 있습니다..

비교 가능한 배포의 주요 가치 지표는 다음을 포함합니다.

• 지연시간 감소:100나노초 이하의 포트-투-포트 지연은 이전 세대의 직물에 비해 MPI 집단 완료 시간을 최대 35%까지 줄입니다.
• 적용 가속도:SHARP 인 네트워크 컴퓨팅 오프로드는 CPU/GPU 통신 오버헤드를 최대 20%까지 줄이고, AI 훈련 시대 시간을 25~30% 가속화합니다.
• 직물의 효율성:적응성 있는 라우팅과 혼잡 제어로 인해 다양한 부하에서 일관된 성능을 유지하며 성능 변동성을 최대 60%까지 줄입니다.
• 운영 단순화:UFM 통합은 종합적인 가시성과 자동화를 제공하며, 직물 사고의 MTTR를 최대 50%까지 줄입니다.
• 비용 효율성의MQM8790-HS2F 가격높은 포트 밀도와 결합하여 대체 인피니밴드 솔루션에 비해 포트당 저렴한 비용을 제공하며 랙 공간과 전력 요구 사항을 줄입니다.

네트워크 아키텍트 및 엔지니어링 리드를 위해 MQM8790-HS2F는 차세대 HPC 및 AI 클러스터에 확장 가능하고 고성능의 기반을 제공합니다.이 솔루션은 특히 대규모 GPU 가속 환경을 배포하는 조직에 권장됩니다.인피니밴드는 NDR (400Gb/s) 및 XDR (800Gb/s) 으로 계속 진화함에 따라,MQM8790-HS2F의 HDR100 브레이크아웃 지원은 기존 인프라와 호환성을 보장하며 미래의 속도로의 명확한 마이그레이션 경로를 제공합니다..

세부적인 직물 디자인 템플릿, 성능 조정 가이드 및 배포 체크리스트를 참조하십시오.MQM8790-HS2F 데이터 시트그리고 NVIDIA Mellanox InfiniBand 아키텍처 문서.