M

멜라녹스 (NVIDIA 멜라녹스) MQM8790-HS2F 인피니밴드 스위치 기술 솔루션

프로젝트 배경 및 요구사항 분석

인공지능 대형 모델 훈련과 HPC 과학 컴퓨팅이 더 큰 발자국으로 확장됨에 따라컴퓨팅 클러스터의 핵심 과제는 단일 노드 컴퓨팅 전력에서 노드 간 통신 효율으로 전환되었습니다.. RDMA 네트워크는 집단 운영, 저장 액세스 및 체크 포인트 트래픽의 운송 척추 역할을하며, 그들의 행동은 전체 클러스터 활용도를 직접 결정합니다.

이러한 프로젝트의 전형적인 요구 사항은 다음과 같습니다.

• 노드당 높은 대역폭:GPU 서버는 멀티-GPU 훈련 워크로드에 맞춰서 200Gb/s 이상의 속도를 요구합니다.
• 예측 가능한 낮은 지연시간:AllReduce와 매개 변수 동기화는 평균 지연시간이 아니라 꼬리 지연시간에 민감합니다.
• 확장성:조직은 토폴로지를 재설계하지 않고 수십 개의 노드에서 수백 또는 수천으로 성장해야 합니다.
• 관리 가능성:운영팀은 느린 노드와 잘못된 연결을 고립하기 위해 텔레미터와 혼잡 시야를 필요로 합니다.

MQM8790-HS2F는 200Gb/s HDR InfiniBand 스위치 플랫폼으로 이러한 요구 사항을 충족할 수 있습니다.

전체 네트워크 및 시스템 아키텍처 설계

권장 아키텍처는 MQM8790-HS2F 스위치로 구성된 척추 계층과 컴퓨팅 및 스토리지 노드를 연결하는 잎 계층으로 차단되지 않는 2층 지방 나무입니다.이 디자인은 동서 동서 대역폭과 예측 가능한 경로 다양성을 제공합니다RDMA 트래픽 패턴에 필수적입니다.

주요 건축 결정은 다음과 같습니다.

• 끝에서 끝까지 HDR:커넥트X-6 또는 커넥트X-7 어댑터로 장착된 컴퓨팅 노드는 200Gb/s로 잎 스위치에 연결하여 MQM8790-HS2F 호환성 엔드-투-엔드 경로를 형성합니다.
• 척추 용량:각 MQM8790-HS2F 200Gb/s HDR 40포트 QSFP56 스위치는 200Gb/s로 40포트를 제공하며, 과잉 구독 목표에 기초한 유연한 업링크 및 다운링크 할당을 허용한다.
• 저장용 직물:평행 저장소 및 NVMe-over-Fabrics 타겟은 저장 트래픽과 훈련 트래픽을 분리하기 위해 전용 잎 그룹에 배치 할 수 있습니다.
• 관리 평면:대역 외부 관리 및 텔레미터 수집은 간섭을 피하기 위해 데이터 평면과 분리됩니다.

멜라녹스 (NVIDIA Mellanox) MQM8790-HS2F의 역할과 주요 기능

이 솔루션에서 Mellanox (NVIDIA Mellanox) MQM8790-HS2F는 레프 트래픽을 집계하고 네트워크 내 컴퓨팅을 가능하게 하는 척추 스위칭 요소로 작용합니다. 그 역할은 전송에 국한되지 않습니다.그것은 또한 집단 커뮤니케이션 전반적인 비용을 줄이고 섬유 효율성을 향상시킵니다..

주요 기술 특징은 다음과 같습니다.

• 40 × 200Gb/s HDR 포트:최대 16Tb/s의 총 처리량 1U 형식 인자, HDR, EDR 및 FDR 속도를 적응적으로 지원합니다.
• SHARP 네트워크 컴퓨팅:AllReduce 및 관련 집단 작업을 스위치로 오프로드하여 GPU 및 CPU 참여를 줄입니다.
• 어댑티브 라우팅:뜨거운 지점을 완화하고 여러 경로에서 부하 균형을 개선합니다.
• 혼잡 조절:DCQCN 및 관련 메커니즘을 지원합니다.
• 소프트웨어 생태계:MLNX-OS에 의해 관리되고 UFM와 NetQ를 통해 모니터링됩니다.

건축가들은 랙 레이아웃을 최종화하기 전에 전력, 냉각 및 포트 분할 세부 사항에 대한 MQM8790-HS2F 데이터 시트 및 MQM8790-HS2F 사양을 검토해야 합니다.MQM8790-HS2F 가격 및 MQM8790-HS2F 판매 옵션은 조달 채널과 함께 검증되어야 합니다., 가격은 규모와 구성에 따라 다릅니다.

배포 및 확장 권고

초기 배포를 위해 단일 MQM8790-HS2F InfiniBand 스위치는 작은 클러스터의 척추와 코어로 동시에 작용하여 200Gb/s로 최대 40개의 노드를 연결할 수 있습니다. 클러스터가 성장함에 따라추가 척추 스위치가 추가됩니다., 그리고 천은 잎 척추 분리와 함께 완전한 두 계층 디자인으로 전환합니다.

확장 지침:

• 케이블링 규율:QSFP56 광학과 DAC/AOC 유형에 표준화하여 절약을 단순화하고 호환성 위험을 줄이십시오.
• 항구 분할:노드당 200Gb/s가 필요하지 않은 경우 2×100Gb/s 브레이크오웃을 사용하여 포트 효율을 향상시킵니다.
• 과잉 가입 목표:피크 이론적 대역폭만을 기준으로 작업 부하 폭발 패턴을 기반으로 척추-잎 비율을 계획하십시오.
• 전력 및 냉각:랙 전력 헤드룸을 스위치의 정규 도출량에 맞게 검증합니다.

운영 모니터링, 문제 해결 및 최적화

작전 시야는 저용량의 지연을 유지하기 위해 중요합니다.MQM8790-HS2F InfiniBand 스위치 솔루션은 UFM와 통합되어 조직 전체 모니터링과 NetQ와 텔레미터 및 검증을 수행해야 합니다..

권장되는 방법은 다음과 같습니다.

• 포트 카운터에서 오류, 폐기 및 혼잡 현상을 모니터링합니다.
• 느린 노드 후보자를 추적하기 위해 직무 수준에서 실패하는 것에 의존하는 대신 텔레메트리를 사용합니다.
• 호환성 문제를 피하기 위해 모든 스위치 및 어댑터에서 펌웨어 일관성을 검증합니다.
• 잘못 구성된 집적 트리 (aggregation tree) 가 성능을 향상시키기보다는 감소시킬 수 있기 때문에 SHARP 구성을 주기적으로 검토하십시오.

요약 및 가치 평가

MQM8790-HS2F는 예측 가능한 낮은 지연시간과 높은 대역폭을 필요로하는 RDMA, HPC 및 AI 클러스터에 대한 실용적인 기반을 제공합니다. 40 × 200Gb/s HDR 포트를 결합함으로써,SHARP 네트워크 컴퓨팅, 그리고 성숙한 관리 생태계, NVIDIA Mellanox MQM8790-HS2F는 건축가들이 효율성을 희생하지 않고 확장 가능한 직물을 설계하는 데 도움이됩니다.

가치 관점에서는 스위치의 기여를 단 하나의 포트 수보다 클러스터 활용, 작업 완료 시간 및 운영 전반에 따라 평가해야합니다.