NVIDIA 멜라녹스 MCX653105A-HDAT 서버 어댑터 기술 백서

NVIDIA Mellanox MCX653105A-HDAT 서버 어댑터 기술 백서 | RDMA/RoCE 저지연 전송 및 서버 처리량 최적화

1. 프로젝트 배경 및 요구사항 분석

데이터 센터 워크로드의 진화 — 특히 인공 지능, 고성능 컴퓨팅(HPC), 분산 스토리지 — 는 서버 인프라의 네트워킹 요구사항을 근본적으로 변화시켰습니다. 일반 트래픽을 위해 설계된 기존 네트워크 스택은 지연 시간과 CPU 오버헤드를 발생시키며, 이는 대규모 환경에서 치명적입니다. NVMe over Fabrics(NVMe-oF), 분산 머신러닝 학습, 실시간 분석과 같은 애플리케이션은 결정론적이고 마이크로초 미만의 지연 시간과 하드웨어 가속 데이터 이동을 요구합니다.

네트워크 설계자 및 인프라 책임자는 이러한 워크로드에 대한 전송 방식으로 RDMA over Converged Ethernet(RoCE)을 점점 더 많이 채택하고 있습니다. 그러나 성공적인 RoCE 배포는 전송 처리를 오프로드하고, 혼잡을 효과적으로 관리하며, 기존 이더넷 패브릭과 원활하게 통합하는 기본 어댑터의 능력에 달려 있습니다. 엔터프라이즈 및 클라우드 배포 전반에서 확인된 주요 요구사항은 다음과 같습니다:

• 지연 시간에 민감한 애플리케이션을 위한 3마이크로초 미만의 엔드투엔드 RDMA 지연 시간
• 고밀도 스토리지 및 컴퓨팅 노드를 지원하기 위한 서버당 40Gb/s 이상의 집계 처리량
• AI 워크로드에서 호스트 측 메모리 복사를 제거하기 위한 GPUDirect 하드웨어 오프로드
• 결정론적 성능을 위한 PFC 및 ECN을 통한 무손실 이더넷 전송
• 운영 가시성을 위한 포괄적인 텔레메트리 및 프로그래밍 가능한 데이터 경로

일반적인 배포 토폴로지제안된 솔루션 아키텍처는 서버 액세스 계층에서 25/50/100GbE 연결을 갖춘 리프-스파인 토폴로지를 사용합니다. 각 컴퓨팅, 스토리지 또는 GPU 가속 노드에는 MCX653105A-HDAT ConnectX 어댑터 PCIe 네트워크 카드가 장착되어 상단 랙(ToR) 스위치에 대한 이중화된 연결을 제공합니다. 아키텍처는 네 가지 별도의 계층으로 구성됩니다:

컴퓨팅/스토리지 엣지:

MCX653105A-HDAT 이더넷 어댑터 카드는 PCIe Gen 4.0 x16을 통해 호스트에 연결되며, 최대 256GB/s의 양방향 호스트 대역폭을 제공하여 버스트 트래픽을 위한 헤드룸을 유지하면서 듀얼 100GbE 포트를 완전히 포화시키기에 충분합니다.네트워크 패브릭:듀얼 포트는 유연한 미디어(25GbE용 SFP28, 50/100GbE용 QSFP)를 지원하며 액티브-액티브 로드 밸런싱 및 하드웨어 LAG 오프로드를 제공합니다. 어댑터는 최대 200Gb/s의 집계 처리량을 지원합니다.

• RDMA 전송:모든 트래픽 유형에 대해 무손실 이더넷을 지원하여 별도의 스토리지 및 컴퓨팅 네트워크의 필요성을 제거하고 자본 및 운영 지출을 줄입니다.Redfish 및 SNMP 지원을 갖춘 대역 외 관리와 실시간 패브릭 모니터링을 위한 대역 내 텔레메트리가 보완됩니다.
• 이 설계는 NVIDIA Mellanox MCX653105A-HDAT가 RDMA 엔드포인트 역할을 하여 호스트 CPU 개입 없이 직접 메모리 간 전송을 가능하게 하는 통합된 무손실 이더넷 패브릭을 강조합니다. 이 아키텍처는 기존 이더넷 스위칭 인프라와 완전히 MCX653105A-HDAT 호환되며, PFC 및 ECN 지원만 필요합니다. 이 기능들은 최신 데이터 센터 스위치에서 일반적으로 사용할 수 있습니다.3. NVIDIA Mellanox MCX653105A-HDAT의 역할 및 주요 기능
• MCX653105A-HDAT는 아키텍처에서 핵심적인 역할을 하며, 저지연, 고처리량 네트워킹을 가능하게 하는 세 가지 고유한 가치 계층을 제공합니다:A. 하드웨어 가속 RDMA 엔진
• 어댑터는 RoCEv2 전송 작업(분할, 재조립, 혼잡 제어 및 완료 처리 포함)을 호스트 CPU에서 완전히 오프로드하는 프로그래밍 가능한 패킷 처리 파이프라인을 통합합니다. MCX653105A-HDAT 데이터시트에 따르면, 하드웨어는 모든 패킷 크기에 대해 와이어 속도 성능을 지원하며 최대 메시지 속도는 200Mpps입니다.B. GPUDirect 및 NVMe-oF 오프로드

MCX653105A-HDAT의 주요 차별점은 GPUDirect에 대한 통합 지원으로, 호스트 측 복사 없이 GPU 메모리와 네트워크 인터페이스 간의 직접 데이터 이동을 가능하게 합니다. 이는 분산 AI 학습에서 중요한 병목 현상을 제거합니다. 스토리지 워크로드의 경우, 어댑터는 NVMe-oF 작업을 오프로드하여 표준 이더넷을 고성능 스토리지 패브릭으로 변환합니다.어댑터는 엄격한 우선 순위, 가중치 공정 큐잉 및 속도 제한을 지원하는 트래픽 클래스별 우선 순위 지정을 제공합니다. 혼잡 관리 기능에는 하드웨어 기반 ECN 마킹, PFC 생성 및 적응형 라우팅 기능이 포함되며, 모두 MCX653105A-HDAT 사양을 통해 구성할 수 있습니다.D. 보안 및 프로그래밍 가능성어댑터에는 하드웨어 루트 오브 트러스트, 보안 부팅 및 암호화된 펌웨어 업데이트가 포함됩니다. 프로그래밍 가능한 데이터 경로는 유연한 매치-액션 처리를 지원하여 사용자 정의 오프로드 및 대역 내 네트워크 텔레메트리(INT) 수집을 가능하게 합니다.

4. 배포 및 확장성 권장 사항

일반적인 배포 토폴로지리프 스위치:

RoCEv2 지원을 갖춘 25/50/100GbE ToR 스위치로, 전용 우선 순위 큐에 PFC 및 혼잡 신호용 ECN이 구성됩니다. 최적의 RoCE 성능을 위해 점보 프레임(MTU 9000)이 권장됩니다.
서버 노드:스파인 계층:

버퍼 용량이 충분하여 마이크로 버스트를 흡수할 수 있는 비차단 랙 간 연결을 제공하는 100/400GbE 스파인 스위치입니다.
스토리지/컴퓨팅 통합:확장성 고려 사항

혼잡 도메인:
PFC 전파를 제한하기 위해 패브릭을 여러 혼잡 관리 영역(예: 랙별 또는 클러스터별)으로 분할합니다. 어댑터의 포트별 속도 제한은 노이즈가 많은 이웃을 격리하는 데 도움이 됩니다.오케스트레이션 통합:어댑터는 Kubernetes(NVIDIA 네트워크 연산자를 통해) 및 OpenStack에서 완전히 지원되어 클라우드 규모 환경에서 자동화된 프로비저닝 및 수명 주기 관리를 가능하게 합니다.

미래 보장:
MCX653105A-HDAT는 100GbE 이상의 속도를 지원하여 어댑터 교체 없이 향후 네트워크 업그레이드를 위한 헤드룸을 제공합니다.

MCX653105A-HDAT 가격을 평가하는 조직의 경우, 총 소유 비용에는 전용 스토리지 네트워크 제거로 인한 절감액, CPU 코어 할당 감소(일반적으로 서버당 4-6개 코어 복구), 통합 패브릭 관리로 인한 운영 효율성이 포함되어야 합니다.

5. 운영, 모니터링, 문제 해결 및 최적화

모니터링 프레임워크

• 이 솔루션은 다계층 관찰 가능성 접근 방식을 통합합니다:어댑터 수준 텔레메트리:
• MCX653105A-HDAT는 ethtool, sysfs 및 NVIDIA의 관리 도구를 통해 수백 개의 하드웨어 카운터를 노출합니다. 주요 메트릭에는 포트별 처리량, PFC 일시 중지 프레임, ECN 마킹된 패킷, RoCEv2 혼잡 이벤트 및 RDMA 완료 큐 통계가 포함됩니다.패브릭 수준 가시성:애플리케이션 상관 관계:
• 어댑터는 포트별 및 큐별 지연 시간 히스토그램을 제공하여 네트워크 성능과 애플리케이션 수준 트랜잭션 지연 시간 간의 정확한 상관 관계를 가능하게 합니다.일반적인 문제 해결 시나리오
• NVIDIA Mellanox MCX653105A-HDAT에 대한 운영 경험을 바탕으로 다음과 같은 진단 패턴이 확인되었습니다:PFC 폭풍 감지:

우선 순위별 PFC 일시 중지 프레임 카운터를 모니터링합니다. 지속적인 일시 중지(라인 속도의 5% 초과)는 혼잡 또는 잘못된 구성을 나타냅니다. 어댑터의 큐별 버퍼 사용률 카운터를 사용하여 소스를 조사합니다.

• RoCEv2 패킷 손실:어댑터의 손실 카운터(rx_discard, tx_discard)를 확인하고 ECN 마킹된 패킷과 상관 관계를 분석하여 어댑터 수준 손실과 패브릭 수준 스로틀링을 구별합니다.
• 성능 튜닝:지연 시간 대 CPU 사용률의 균형을 맞추기 위해 인터럽트 코얼레싱 매개변수를 조정합니다. 일반적으로 스토리지 워크로드의 경우 중간 코얼레싱을, 거래 애플리케이션의 경우 최소 코얼레싱을 설정합니다. MCX653105A-HDAT 데이터시트는 조정 가능한 매개변수에 대한 자세한 지침을 제공합니다.
• 최적화 지침모든 트래픽 유형에 대해 무손실 이더넷을 지원하여 별도의 스토리지 및 컴퓨팅 네트워크의 필요성을 제거하고 자본 및 운영 지출을 줄입니다.관찰된 워크로드 프로필에 따라 어댑터의 공급업체별 버퍼 구성 도구를 사용하여 동적으로 우선 순위별 PFC 임계값을 구성합니다.

속도 제한(트래픽 클래스별) 및 엄격한 우선 순위 또는 가중치 공정 큐잉을 포함한 어댑터의 고급 QoS 기능을 활성화합니다.대규모 배포의 경우, 스위치와의 PFC 및 ECN 협상을 자동화하기 위해 802.1Qaz DCBX 지원을 활용합니다.사용자 정의 텔레메트리 수집 또는 특수 패킷 처리 오프로드를 구현하기 위해 어댑터의 프로그래밍 가능한 데이터 경로를 사용합니다.

6. 요약 및 가치 평가

NVIDIA Mellanox의 MCX653105A-HDAT를 중심으로 한 기술 솔루션은 3마이크로초 미만의 RDMA 지연 시간과 서버당 100Gb/s를 초과하는 집계 처리량을 달성하기 위한 명확한 경로를 제공합니다. MCX653105A-HDAT 이더넷 어댑터 카드는 AI 학습, HPC 및 엔터프라이즈 스토리지 워크로드를 동시에 지원하는 최신 통합 데이터 센터 패브릭의 기본 빌딩 블록 역할을 합니다.

주요 가치 제안은 다음과 같습니다:

• 인프라 통합:모든 트래픽 유형에 대해 무손실 이더넷을 지원하여 별도의 스토리지 및 컴퓨팅 네트워크의 필요성을 제거하고 자본 및 운영 지출을 줄입니다.GPUDirect를 갖춘 하드웨어 오프로드 RoCEv2는 90% 이상의 라인 속도 사용률에서도 결정론적이고 마이크로초 미만의 지연 시간을 보장하며, 이는 AI 학습 및 실시간 분석에 중요합니다.
• 운영 효율성:포괄적인 텔레메트리, 자체 복구 혼잡 관리 및 자동화된 오케스트레이션 통합은 평균 해결 시간(MTTR) 및 운영 오버헤드를 줄입니다.
• 투자 보호:어댑터의 PCIe Gen 4.0 인터페이스, 프로그래밍 가능성 및 다중 속도 포트 지원은 향후 CPU 세대 및 고속 네트워크 패브릭과의 호환성을 보장합니다.

MCX653105A-HDAT 판매 옵션을 적극적으로 평가하는 조직의 경우, 이 솔루션은 금융 서비스, 클라우드 제공업체, 의료 및 연구 기관 전반의 프로덕션 환경에서 검증된 참조 아키텍처를 제공합니다. 성능, 확장성 및 운영 성숙도의 조합은 고성능의 미래 지향적인 데이터 센터 인프라를 구축하려는 모든 조직에게 NVIDIA Mellanox MCX653105A-HDAT를 전략적 투자로 만듭니다.