NVIDIA 멜라녹스 MCX623106AN-CDAT 서버 어댑터 기술 백서

NVIDIA Mellanox MCX623106AN-CDAT 서버 어댑터 기술 백서 | RDMA/RoCE 저지연 전송 및 서버 처리량 최적화

1. 프로젝트 배경 및 요구사항 분석

현대 데이터 센터는 인공지능, 대규모 머신러닝, 실시간 분석의 폭발적인 성장으로 인해 패러다임 전환을 겪고 있습니다. 이러한 워크로드는 전례 없는 네트워크 성능을 요구합니다. 단순한 대역폭뿐만 아니라 결정론적인 5마이크로초 미만의 지연 시간, CPU 효율적인 데이터 이동, 수천 개의 노드까지 원활한 확장성이 필요합니다. 소프트웨어 기반 TCP/IP 스택에 의존하는 기존 이더넷 어댑터는 200GbE 속도에서 CPU 코어의 최대 40%를 소비하고 예측 불가능한 지연 시간 변동을 유발하여 애플리케이션 성능을 저하시키는 중요한 병목 현상이 되었습니다. 대규모 AI 클러스터(500개 이상 GPU) 또는 하이퍼스케일 클라우드 인프라를 구축하는 조직의 경우, 이러한 비효율성은 학습 시간 연장, 인프라 비용 증가, 시장 출시 시간 지연으로 직접 이어집니다.

이 백서는 MCX623106AN-CDAT 이더넷 어댑터 카드 서버 어댑터를 중심으로 한 포괄적인 기술 솔루션을 제시합니다. 200GbE 투자를 극대화하려는 기업을 위해 설계된 총 소유 비용을 평가할 때, 는 하드웨어 가속 RDMA over Converged Ethernet(RoCE)을 제공하여 손실 없는 초저지연 전송을 가능하게 하며, 네트워크 I/O를 확장 병목 현상에서 경쟁 우위로 전환합니다. 이 솔루션은 세 가지 핵심 목표를 충족하도록 특별히 설계되었습니다. (1) AI 집합 통신을 위한 5마이크로초 미만의 엔드투엔드 애플리케이션 지연 시간 달성, (2) CPU 네트워크 처리 오버헤드를 5% 미만으로 줄이기, (3) 200GbE 및 그 이상을 위한 확장 가능하고 미래 지향적인 기반 제공.

2. 전체 네트워크 및 시스템 아키텍처 설계

권장 아키텍처는 200GbE를 서버 액세스 계층으로, 400GbE/800GbE를 스파인 업링크로 사용하는 고성능 리프-스파인 토폴로지를 채택합니다. 이 설계의 핵심은 패브릭 전체의 모든 컴퓨팅 및 스토리지 노드에 배포된 입니다. 아키텍처는 여섯 가지 핵심 원칙을 기반으로 구축됩니다:

• 손실 없는 이더넷 패브릭: 모든 스위치에서 PFC(Priority Flow Control) 및 ECN(Explicit Congestion Notification)을 사용하는 RoCE v2를 활용하여 패킷 손실을 제거하고 RDMA 트래픽에 대한 결정론적 지연 시간을 보장합니다.
• GPUDirect RDMA: CPU 개입 없이 네트워크를 통해 GPU 간 직접 통신을 가능하게 하여 지연 시간을 줄이고 CPU 리소스를 컴퓨팅 작업에 할당합니다.
• 모든 곳에서 하드웨어 오프로드: 전송, 보안(IPsec/MACsec) 및 스토리지 프로토콜을 어댑터로 오프로드하여 CPU 사이클을 애플리케이션 로직에 할당합니다.
• 능동-능동 이중화: 링크 집계(LACP) 모드에서 두 개의 QSFP112 포트를 모두 사용하여 400Gb/s의 집계 대역폭과 1초 미만의 복구 시간을 갖는 자동 장애 조치를 제공합니다.
• 지능형 트래픽 엔지니어링: 혼잡 핫스팟을 피하고 패브릭 활용도를 극대화하기 위한 적응형 라우팅 및 순서가 잘못된 패킷 전달.
• 포괄적인 원격 측정: 인밴드 네트워크 원격 측정(INT) 및 플로우별 모니터링을 통해 사전 예방적 혼잡 감지 및 용량 계획을 수행합니다.

이 솔루션은 NVIDIA GPU 플랫폼(HGX, DGX) 및 Dell, HPE, Supermicro, Lenovo의 주요 CPU 서버와 완벽하게 NVIDIA NCCL, PyTorch, TensorFlow 및 MPI 라이브러리를 포함한 주요 AI 및 HPC 소프트웨어 스택과 호환되어 엔터프라이즈, 클라우드 및 연구 배포 전반에 걸쳐 광범위한 적용 가능성을 보장합니다.됩니다. 스토리지의 경우, 이 아키텍처는 15마이크로초 미만의 지연 시간으로 RoCE 상의 NVMe-oF를 지원하여 대규모 학습 클러스터를 위한 공유 분산 스토리지를 가능하게 합니다.

3. NVIDIA Mellanox MCX623106AN-CDAT의 역할 및 주요 기능

이 솔루션의 기반 구성 요소로서 MCX623106AN-CDAT 이더넷 어댑터 카드는 아키텍처 내에서 네 가지 중요한 역할을 수행합니다:

에서 추출한 주요 기술 사양은 포괄적인 오프로드 기능(체크섬, LSO/LRO, VLAN 스트리핑/삽입, 최대 128개의 큐를 갖춘 RSS), 고급 혼잡 제어 알고리즘 및 NVIDIA 집합 통신 라이브러리(NCCL)에 대한 완전한 지원을 포함합니다. MCX623106AN-CDAT ConnectX 어댑터 PCIe 네트워크 카드은 또한 100GbE 및 50GbE 호환성을 지원하여 혼합 속도 환경에 대한 배포 유연성을 제공합니다.mlx5cmd신규 AI 클러스터의 경우, 200GbE 액세스와 800GbE 스파인 업링크를 갖춘 2계층 리프-스파인 토폴로지를 권장합니다. 각 서버는 이중화를 위해 별도의 리프 스위치에 연결된 두 개의 QSFP112 포트를 모두 갖춘

MCX623106AN-CDAT 이더넷 어댑터 카드

를 호스팅합니다. RoCE 패브릭은 모든 스위치에서 일관된 QoS 구성을 요구합니다. 특히 우선순위 3(RDMA 집합 트래픽용) 및 우선순위 4(스토리지용)에 PFC를 적용하고 동일한 트래픽 클래스에 ECN 표시를 적용합니다. 모니터링 및 문제 해결을 단순화하기 위해 RDMA, 관리, 스토리지 및 테넌트 트래픽에 대해 별도의 VLAN을 할당하는 것이 좋습니다.총 소유 비용을 평가할 때, MCX623106AN-CDAT 이더넷 어댑터 카드 솔루션

은 원활한 마이그레이션 경로를 제공합니다. 이 어댑터는 100GbE QSFP56 광학 장치와 하위 호환되므로, 200GbE로의 단계적 업그레이드 중에 기존 케이블을 재사용할 수 있습니다. 또한 이 어댑터는 필수적인 RoCE 활성화 없이 표준 이더넷 스위칭을 지원하므로, 패브릭이 성숙하고 워크로드가 전환을 정당화함에 따라 팀이 먼저 하드웨어를 배포하고 RDMA 기능을 단계적으로 활성화할 수 있습니다.500개 이상의 노드로 솔루션을 확장하려면 추가 고려 사항이 필요합니다. 내장된 원격 측정 기능과 동적 ECN 임계값 조정을 갖춘 NVIDIA Spectrum-4 스위치를 사용하여 전용 RoCE 혼잡 관리 전략을 구현하는 것이 좋습니다. 1,000개 이상의 노드를 초과하는 클러스터의 경우, 엔드투엔드 가시성과 자동 구성 일관성을 유지하기 위해 중앙 집중식 패브릭 관리 컨트롤러(예: NVIDIA NetQ)를 배포하는 것을 고려하십시오. NVIDIA의 글로벌 채널 파트너를 통해 판매되는 MCX623106AN-CDAT

에는 포괄적인 보증 및 펌웨어 업데이트 지원이 포함되어 있어 대규모 환경에서 장기적인 안정성을 보장합니다.5. 운영, 모니터링, 문제 해결 및 최적화RoCE 패브릭의 효과적인 운영에는 다층적인 모니터링 및 문제 해결 전략이 필요합니다:

어댑터 수준 원격 측정:

• MCX623106AN-CDAT 사양에는 PFC 프레임, ECN 표시 패킷, 손실된 프레임, 링크 오류 및 혼잡 에포크에 대한 포트별 카운터가 포함됩니다. mlx5cmd, ethtool 또는 NVIDIA 펌웨어 도구를 사용하여 이러한 메트릭을 적절한 경고와 함께 Prometheus/Grafana 대시보드로 내보냅니다.인밴드 네트워크 원격 측정(INT): 어댑터의 INT 지원을 활용하여 패브릭 전체의 플로우별 지연 시간과 큐 깊이를 추적하여 미세 혼잡 소스를 정확하게 식별합니다.
• 스위치 수준 모니터링: 스파인 및 리프 스위치의 버퍼 점유율, 일시 중지 프레임 수, 큐 깊이 및 ECN 표시율을 모니터링합니다. 일시 중지 프레임의 갑작스러운 증가는 ECN 임계값 조정이 필요할 수 있는 미세 혼잡을 나타냅니다.
• 애플리케이션 수준 메트릭: RDMA 애플리케이션의 경우, NVIDIA libibverbs 및 rdma-core 라이브러리를 사용하여 WR(Work Request) 완료 지연 시간, CQ(Completion Queue) 오버플로 이벤트 및 QP(Queue Pair) 오류 수를 추적합니다.
• 일반적인 문제 해결 시나리오 및 권장 조치:RoCE 성능 저하:

모든 스위치 포트에서 PFC가 활성화되어 있고 DSCP 표시가 스위치 구성과 일치하는지 확인합니다.

• MCX623106AN-CDAT 데이터시트를 사용하여 워크로드 프로필에 대한 권장 값과 비교하여 버퍼 할당 설정을 확인합니다.MCX623106AN-CDAT ConnectX 어댑터 PCIe 네트워크 카드 QSFP112 케이블 품질(200G AOC 또는 DAC 사양 준수 확인)을 확인하고 어댑터 펌웨어가 최신 릴리스로 업데이트되었는지 확인합니다.
• GPU Direct 성능 문제: GPUDirect가 올바르게 초기화되었는지, 그리고 PCIe 토폴로지가 중간 스위칭 없이 피어투피어 DMA를 지원하는지 확인합니다.
• PFC 데드락 또는 일시 중지 폭풍: 잘못 구성된 우선순위가 있는지 확인하고 PFC가 RoCE 트래픽 클래스에만 활성화되었는지(관리 또는 스토리지 트래픽에는 활성화되지 않음) 확인합니다.
• 최적화를 위해 광범위한 실험실 검증을 기반으로 다음 튜닝 매개변수를 권장합니다:인터럽트 병합(조절):

지연 시간을 최소화하면서 CPU 효율성을 유지하기 위해 AI 학습 워크로드의 경우 2~4마이크로초로 설정합니다.

• RDMA MTU: 프로토콜 오버헤드를 줄이고 처리량을 개선하기 위해 올 리듀스 통신의 경우 4096바이트로 증가시킵니다.
• RSS(수신 측 스케일링): 단일 코어 포화를 방지하고 처리를 분산하기 위해 비-RDMA 트래픽에 대해 여러 CPU 코어에 걸쳐 구성합니다.
• ECN 임계값: 우선순위 3 트래픽의 경우 버퍼의 40%로 최소 임계값, 75%로 최대 임계값을 설정하고, 관찰된 혼잡 패턴 및 워크로드 특성에 따라 조정합니다.
• 6. 요약 및 가치 평가

NVIDIA Mellanox MCX623106AN-CDAT

솔루션은 현대 AI 규모 데이터 센터에 혁신적인 가치를 제공합니다. 소프트웨어 기반 TCP/IP를 하드웨어 가속 RDMA/RoCE 및 GPUDirect로 대체함으로써, 조직은 애플리케이션 수준 지연 시간을 8~10배 줄이고, CPU 네트워크 오버헤드를 85% 이상 절감하며, GPU 활용률을 70% 미만에서 95% 이상으로 높일 수 있습니다. MCX623106AN-CDAT 이더넷 어댑터 카드는 100GbE와의 하위 호환성을 통한 투자 보호와 새로운 워크로드를 위한 미래 지향적인 오프로드 기능을 통해 200GbE 채택을 위한 비용 효율적인 경로를 제공합니다.총 소유 비용을 평가할 때, MCX623106AN-CDAT 가격

은 상당한 운영 절감 효과로 상쇄됩니다. 즉, 학습 시간 단축(시장 출시 시간 가속화), 서버 수 감소(높은 GPU 활용률 덕분), 냉각 비용 절감( MCX623106AN-CDAT 호환<20W power draw), and elimination of separate InfiniBand fabrics. The solution is fully NVIDIA NCCL, PyTorch, TensorFlow 및 MPI 라이브러리를 포함한 주요 AI 및 HPC 소프트웨어 스택과 호환되어 엔터프라이즈, 클라우드 및 연구 배포 전반에 걸쳐 광범위한 적용 가능성을 보장합니다.자세한 배포 스크립트, 구성 템플릿 및 성능 벤치마크 보고서는 공식 MCX623106AN-CDAT 데이터시트