NVIDIA Mellanox MCX653105A-HDAT 서버 어댑터가 작동합니다.

NVIDIA Mellanox MCX653105A-HDAT 서버 어댑터 활용 | RDMA/RoCE 저지연 전송 및 서버 처리량 향상

배경 및 과제: AI 학습 병목 현상

알고리즘 트레이딩 및 실시간 위험 분석을 전문으로 하는 선도적인 금융 기술 기업이 중요한 인프라 과제에 직면했습니다. 머신러닝 팀은 고성능 NVIDIA GPU를 갖춘 32개의 GPU 가속 서버로 구성된 분산 학습 클러스터를 배포했습니다. 그러나 모델 복잡성이 수백만에서 수십억 개의 매개변수로 증가함에 따라 네트워크 지연이 주요 병목 현상이 되었습니다. 기존 25GbE 어댑터는 기존 TCP/IP를 사용하여 작동했으며 예측 불가능한 지연 시간을 도입하여 클러스터 전체의 기울기 동기화를 크게 늦췄습니다.

이 회사의 인프라 설계자는 두 가지 주요 문제를 파악했습니다. 첫째, TCP/IP 스택은 각 서버에서 상당한 CPU 리소스를 소비했으며, 사용 가능한 코어의 최대 30%를 차지하여 실제 모델 학습에 사용할 수 있는 용량을 줄였습니다. 둘째, RDMA에 대한 하드웨어 오프로드가 부족하여 GPU 메모리와 네트워크 간의 데이터 전송에 여러 번의 메모리 복사가 필요했으며, 이는 학습 단계당 수천 번의 매개변수 교환에 걸쳐 마이크로초 수준의 지연을 누적시켰습니다. 팀은 서버 처리량을 희생하거나 전체 네트워크를 재구축하지 않고도 결정론적 저지연 통신을 제공할 수 있는 솔루션이 필요했습니다.

솔루션 및 배포: MCX653105A-HDAT를 사용한 RoCE 구현

여러 옵션을 평가한 후 이 회사는 네트워크 업그레이드의 핵심 구성 요소로 를 선택했습니다. 이 PCIe 네트워크 카드는 32개의 학습 서버 각각에 배포되어 이전 세대 어댑터를 대체했습니다. MCX653105A-HDAT ConnectX 어댑터 PCIe 네트워크 카드는 고대역폭과 하드웨어 가속 RoCEv2 지원을 결합하여 기존 이더넷 패브릭 전반에 걸쳐 진정한 RDMA 통신을 가능하게 했습니다.

배포는 구조화된 접근 방식을 따랐습니다.

• 물리적 설치: 각 서버에는 MCX653105A-HDAT 이더넷 어댑터 카드가 설치되었으며, 이중 포트 25GbE SFP28 링크를 통해 이중화된 탑오브랙 스위치에 연결되었습니다.
• RoCEv2 구성: 네트워크 스위치는 Priority Flow Control(PFC) 및 Explicit Congestion Notification(ECN)으로 구성되어 손실 없는 이더넷 전송을 보장했습니다. 이는 최적의 RDMA 성능을 위한 필수 조건입니다.
• GPUDirect 통합: 팀은 어댑터의 GPUDirect 기능을 활용하여 호스트 CPU 개입 없이 GPU 메모리와 네트워크 인터페이스 간의 직접적인 데이터 이동을 가능하게 했습니다.
• 소프트웨어 스택: NVIDIA 네트워킹 드라이버 스택이 설치되었고, 학습 프레임워크(분산 데이터 병렬 PyTorch)는 RDMA 전송 계층을 활용하도록 구성되었습니다.

MCX653105A-HDAT 데이터시트에 따르면 이 어댑터는 PCIe Gen 4.0 x16을 지원하여 최대 256GB/s의 호스트 대역폭을 제공합니다. 이는 이중 25GbE 포트를 완전히 포화시키고 50GbE 또는 100GbE로의 향후 업그레이드를 위한 충분한 여유 공간을 남기기에 충분합니다. 팀은 이 어댑터의 유연성 덕분에 PCIe Gen 3.0 및 4.0을 모두 지원하는 기존 서버 하드웨어와 완전히 MCX653105A-HDAT 호환된다고 언급했습니다.MCX653105A-HDAT 사양

은 팀의 튜닝 결정을 안내했습니다. 지연 시간과 CPU 사용량의 균형을 맞추기 위해 인터럽트 병합 매개변수를 조정하고, 기울기 동기화 트래픽이 최고 QoS 처리를 받도록 보장하기 위해 큐별 우선순위 설정을 구성했습니다.결과 및 측정 가능한 이점성능 향상은 상당했으며 여러 차원에서 직접 측정 가능했습니다:

측정 항목

이전(25GbE/TCP)

는 팀이 예상하지 못했던 운영상의 이점을 제공했습니다. 결정론적 지연 시간은 학습 수렴이 예측 가능한 시간 내에 일관되게 달성되도록 보장했습니다. 이는 회사의 시간 민감한 모델 개발 주기에 중요한 요구 사항이었습니다. 확보된 CPU 코어는 실제 계산으로 재지정되어 새로운 하드웨어를 추가하지 않고도 클러스터의 실제 컴퓨팅 용량을 효과적으로 늘렸습니다.MCX653105A-HDAT 이더넷 어댑터 카드 솔루션

은 성능 가속기이자 운영 인텔리전스 도구임이 입증되었습니다.요약 및 전망이 배포는

NVIDIA Mellanox MCX653105A-HDAT

가 단순한 네트워킹 업그레이드 이상이며 분산 컴퓨팅 성능에 대한 전략적 투자임을 입증했습니다. GPUDirect를 갖춘 하드웨어 오프로드 RoCEv2를 가능하게 함으로써 이 어댑터는 학습 시간을 70% 이상 단축하고 신규 모델의 시장 출시 시간을 가속화했으며 인프라 효율성을 크게 향상시켰습니다.MCX653105A-HDAT 가격

은 운영 절감액 및 성능 향상과 비교했을 때 매력적인 투자 수익률을 제공했습니다. 특히 전용 InfiniBand 인프라를 배포하거나 추가 컴퓨팅 노드를 조달하는 비용과 비교했을 때 더욱 그렇습니다.현재 MCX653105A-HDAT 판매

옵션을 평가 중인 조직의 경우 이 사례 연구는 이 어댑터가 실제 프로덕션 환경에서 저지연, 고처리량 네트워킹에 대한 약속을 이행함을 보여줍니다. 하드웨어 가속, 포괄적인 텔레메트리 및 기존 이더넷 인프라와의 원활한 호환성 조합은 NVIDIA Mellanox MCX653105A-HDAT를 최신 데이터 센터 아키텍처의 기본 구성 요소로 만듭니다.