NVIDIA Mellanox MCX631432AN-ADAB의 작동: RDMA/RoCE 저지연 전송 및 서버 처리량 최적화
July 28, 2026
NVIDIA Mellanox MCX631432AN-ADAB: RDMA/RoCE 낮은 지연 전송 및 서버 처리량 최적화
배경과 도전: 인공지능 교육 클러스터의 네트워크 병목
선도적인 핀테크 회사는 최근 고주파 트레이딩 전략 훈련을 위해 설계 된 64 노드 GPU 기반 AI 클러스터를 배포했으며 각 서버는 고성능 NVMe 스토리지로 장착되었습니다.,실제 교육 생산량은 예상보다 크게 떨어졌습니다.배포 후 분석에 따르면 10GbE TCP/IP 기반의 노드 간 통신 조직은 주요 병목이되었습니다.모든 감소 집단 통신 작업은 4~5 밀리 초의 지연 시간을 보여주었습니다.네트워크 프로토콜 처리에 대한 CPU 오버헤드는 40%를 넘었습니다.이 팀은 급히 통신 지연을 극적으로 줄이고 CPU 컴퓨팅 용량을 되찾을 수 있는 네트워크 솔루션이 필요했습니다.
솔루션 및 배포: MCX631432AN-ADAB로 RoCE 손실 없는 네트워크를 구축
포괄적 인 기술 평가를 거쳐 팀은NVIDIA 멜라녹스 MCX631432AN-ADAB네트워크 업그레이드의 기초로 각 서버는MCX631432AN-ADAB 커넥트X-6 Lx 듀얼 포트 25GbE SFP28어댑터, 두 SFP28 포트가 초과적인 NVIDIA 스펙트럼-3 스위치에 연결되어 높은 가용성을 갖춘 아키텍처를 구축합니다.
이 배포는 세 가지 다른 단계로 수행되었습니다.
- 1단계: 파일럿 (8개의 노드):연구팀은MCX631432AN-ADAB 이더넷 어댑터 카드GPU 서버의 하위 집합에서 RoCEv2를 Priority Flow Control (PFC) 및 Explicit Congestion Notification (ECN) 로 구성하여 손실 없는 이더넷 트러블을 생성합니다.NCCL (NVIDIA 집단 통신 라이브러리) 는 RDMA 지원으로 재 컴파일되었습니다..
- 2단계 튜닝 및 검증:이 자료에 상세히 설명된 텔레메트리 데이터를 사용하여MCX631432AN-ADAB 데이터 시트, 팀은 PFC 중단 폭풍을 제거하면서 거의 제로 패킷 손실을 유지하기 위해 DCB 매개 변수와 버퍼 문턱을 정밀하게 조정했습니다.MCX631432AN-ADAB 사양특정 작업 부하 프로파일에 대한 인터럽트 모더레이션 및 큐 깊이를 최적화하도록 안내했습니다.
- 3단계: 전체 생산 도입 (64개의 노드):성공적 인 검증 후, 나머지 노드는 새로운 어댑터로 마이그레이션되었습니다.MCX631432AN-ADAB 호환성기존의 우분투 기반 환경과 Mellanox OFED 스택에 원활하게 통합된 드라이버.
연구팀은MCX631432AN-ADAB 이더넷 어댑터 카드 솔루션어댑터가 기존 SFP28 케이블 및 스위치 인프라와 완전히 호환되기 때문에 비용이 많이 드는 보조 업그레이드의 필요성을 제거하기 때문에 간단한 마이그레이션 경로를 제공했습니다.
결과와 이점: 지연량 및 처리량에서 측정 가능한 변환
그 결과 성과 향상은NVIDIA 멜라녹스 MCX631432AN-ADAB다음 표는 업그레이드 전과 후의 주요 메트릭을 요약합니다.
| 메트릭 | 사전 업그레이드 (10GbE TCP/IP) | 후 업그레이드 (MCX631432AN-ADAB RoCE) | 개선 |
|---|---|---|---|
| 모든 감소 지연 (평균) | 4.7ms | 0.32ms | 14.7× 감소 |
| 네트워크 CPU 사용량 (노드당) | 42% | 9% | 33 pp |
| GPU 사용 (데이터 로딩 단계) | 61% | 89% | +28% |
| 클러스터 훈련 생산량 | 1.8x 기준값 | 4.3x 기준값 | 2.4배 증가 |
이러한 수치적 증가를 넘어 개발자의 생산성에 직접적인 영향을 미치는 운영 개선도 관찰했습니다.이전에는 36시간이 필요했던 모형 훈련 경기가 15시간 만에 완수되었다하드웨어 기반 NVMe-oF 오프로드 또한 데이터 밀도가 높은 체크포인트 작업을 더욱 가속화하여 스토리지 액세스 지연 시간을 35% 줄였습니다.비즈니스 케이스를 평가하는 조직,MCX631432AN-ADAB 가격2.4 × 처리량 증가와 추가 GPU 서버 인수를 연기 할 수있는 능력에 비해 측정되면 매우 경쟁력이있었습니다.MCX631432AN-ADAB 판매NVIDIA 스펙트럼 스위치로 구성된 팩은 미래 확장을위한 가장 비용 효율적인 경로를 제공했습니다.
요약 & 전망: 미래 작업량 혁신을 위한 기초
이 생산시설은NVIDIA 멜라녹스 MCX631432AN-ADAB이는 일상적인 네트워크 갱신보다 훨씬 더 많은 것입니다. 그것은 현대 GPU 가속 컴퓨팅의 모든 잠재력을 풀 수 있는 변환적인 인프라 요소입니다.50Gb/s 전체 대역폭의 조합이 어댑터는 분산 인공지능, HPC,그리고 실시간 분석 작업 부하.
앞으로는 핀테크 팀이 NVIDIA DOCA와의 통합을 탐구하여 데이터 경로 프로그래밍을 더욱 가속화하고 향후 클러스터 확장에 대한 제로 터치 프로비저닝을 구현합니다.그들은 또한 어댑터의 텔레메트리 기능을 평가하고 있습니다.MCX631432AN-ADAB 데이터 시트횡단거리를 예측하는 모형을 구축하기 위해MCX631432AN-ADAB 이더넷 어댑터 카드 솔루션그 가치를 계속 증명하고, 회사는 미래의 모든 인프라 투자에 이 플랫폼을 표준화 할 계획입니다.인공지능 기반 금융 애플리케이션의 다음 세대를 위한 견고하고 확장 가능한 기반을 제공한다는 확신.