AI 훈련 클러스터 네트워크 병목 현상: Mellanox의 솔루션

산업 분석:인공지능 모델의 복잡성이 기하급수적으로 증가함에 따라 네트워크 인프라는 대규모 교육 클러스터의 중요한 병목으로 나타났습니다.인공지능 네트워크전례 없는 대역폭과 마이크로초 수준의 지연을 요구합니다. 수천개의 GPU를 효율적으로 동기화시키기 위해서죠.이 기사에서는 Mellanox의 InfiniBand 및 Ethernet 솔루션이 필수적인낮은 지연 시간 상호 연결통신 비용을 없애고 대량 생산성을 극대화하기 위해 필요한 기술GPU 클러스터배포

트리리온 매개 변수 모델로의 변화는 인공지능 훈련이 컴퓨팅에 종속된 문제에서 커뮤니케이션에 종속된 문제로 바뀌었습니다.GPU 클러스터분산 교육 과정에서 노드 간 통신에 소요되는 시간은 전체 사이클 시간의 50% 이상을 소비 할 수 있습니다.전통적인 이더넷 네트워크는 상당한 지연 및 혼잡을 도입합니다.값비싼 GPU가 그레디언트 업데이트와 매개 변수 동기화를 기다리는 동안 비활성 상태로 앉아 있습니다.이러한 통신 상용 비용은인공지능 네트워크인프라, 직접적으로 해결 시간 및 전체 소유 비용에 영향을 미칩니다.

멜라노크스는 전체적인 접근을 통해 이러한 과제를 해결합니다.인공지능 네트워크, 고성능 컴퓨팅 환경에 특별히 설계된 하드웨어 및 소프트웨어 혁신을 결합합니다. 솔루션 스택에는 InfiniBand 어댑터, 스펙트럼 이더넷 스위치,그리고 소프트웨어 정의된 네트워크 기술들이 병목을 없애기 위해 함께 작동합니다..

• 인피니밴드 HDR 기술:포트 당 200Gb/s의 대역폭을 제공하며낮은 지연 시간 상호 연결동기화 집중적인 훈련 작업에 적용됩니다.
• SHARP 네트워크 컴퓨팅:네트워크 스위치로 집단적인 동작 (All-Reduce, All-Gather) 을 오프로드하는 혁명적인 기술로, GPU 통신 시간을 최대 50%까지 줄입니다.
• 어댑티브 라우팅:다양한 경로를 통해 트래픽을 동적으로 균형을 맞추어 핫스팟과 혼잡을 방지하고, 통신 피크 기간 동안 일관된 성능을 보장합니다.
• GPUDirect 기술:서로 다른 서버에서 GPU 사이에 직접 메모리 액세스를 가능하게 하며, CPU 참여를 우회하고 통신 지연을 줄입니다.

Mellanox의 최적화된인공지능 네트워크다양한 클러스터 크기와 모델 아키텍처에서 측정 가능한 성능 향상을 제공합니다.

이러한 개선은 비즈니스 가치로 직접 번역됩니다: 더 빠른 모델 반복, 인프라 비용 감소, 같은 시간 제한 내에서 더 복잡한 문제를 해결 할 수있는 능력.

주요 AI 연구 조직은 2048-GPU 클러스터 훈련 대용어 모델에 대한 Mellanox의 HDR InfiniBand 솔루션을 구현했습니다.낮은 지연 시간 상호 연결93%의 확장 효율을 달성할 수 있게 되었고, 175억 개의 매개 변수 모델을 위한 훈련 시간을 42일에서 19일로 줄였습니다.솔루션의 고급 혼잡 제어 메커니즘은 모든 통신 단계에서 패킷 손실을 제거, 연장 교육 과정 내내 일관된 성능을 유지합니다.

인공지능 모델의 크기와 복잡성이 계속 증가함에 따라인공지능 네트워크Mellanox의 로드맵에는 400G NDR InfiniBand 및 800G 이더넷 기술이 포함되며 네트워크 대역폭이 컴퓨팅 요구를 계속 능가할 수 있도록합니다.회사의 약속은낮은 지연 시간 상호 연결혁신은 조직이GPU 클러스터네트워크 제한 없이 배치할 수 있습니다.

첨단 인공지능 역량을 개발하기 위한 경쟁에서 네트워크 성능은 중요한 차별 요소가 되었습니다.인공지능 네트워크이러한 솔루션은 네트워크가 병목에서 전략적 이점으로 변해 조직이 GPU 투자 수익을 극대화하고 혁신을 가속화할 수 있도록 합니다.인공지능에 대해 진지하게 생각하는 기업이라면, 최적화된 네트워크 인프라에 투자하는 것은 더 이상 선택 사항이 아니라 경쟁 우위를 확보하기 위해 필수적입니다.