NVIDIA Mellanox MCX653106A-HDAT 기술 솔루션: RDMA/RoCE 기반의 낮은 지연 전송 및 서버

June 16, 2026

이 기술 백서는 네트워크 설계자, 사전 판매 엔지니어 및 운영 관리자를 위해 작성되었습니다. 그것은에 초점을 맞추고NVIDIA Mellanox MCX653106A-HDAT서버 어댑터를 설명하고 마이크로초 규모의 RDMA/RoCE 전송 및 초고처리량 성능이 가능한 데이터 센터 네트워크 인프라를 구축하는 방법을 간략하게 설명합니다.

1. 배경 및 요구사항 분석

현대 데이터 센터는 분산 스토리지의 예측할 수 없는 대기 시간, AI 훈련 클러스터의 대역폭 부족, 기존 네트워크 프로토콜 스택의 과도한 CPU 소비라는 세 가지 핵심 문제에 직면해 있습니다. 기존 TCP/IP 솔루션은 더 이상 NVMe-oF, 고주파 거래 및 실시간 분석의 마이크로초 규모 지연 요구 사항을 충족할 수 없습니다. 업계에서는 시급한 조치가 필요하다.MCX653106A-HDAT 이더넷 어댑터 카드 솔루션표준 이더넷 인프라를 통해 하드웨어 오프로드 RDMA 전송을 제공하는 동시에 서버 처리량을 200Gbps 수준으로 확장합니다.

2. 전체 네트워크/시스템 아키텍처 설계

이 솔루션은 2계층 Leaf-Spine CLOS 아키텍처를 채택합니다. 모든 컴퓨팅 및 스토리지 노드는 다음을 통해 연결됩니다.NVIDIA Mellanox MCX653106A-HDAT25G/100G ToR 스위치까지. 주요 설계 원칙은 다음과 같습니다.

PFC(우선순위 흐름 제어) 및 ECN(명시적 혼잡 알림)을 통해 지원되는 종단 간 무손실 네트워크
스토리지 및 HPC 워크로드를 위한 전용 RDMA 전송 레인
컨트롤 플레인(표준 TCP/IP)과 데이터 플레인(RoCEv2) 분리
하드웨어 기반 가상화 오프로드(SR-IOV, VXLAN/NVGRE/Geneve)

바탕으로MCX653106A-HDAT 데이터시트, 어댑터는 600ns 미만의 포트 간 대기 시간을 제공하고 초당 최대 2억 1,500만 개의 패킷을 지원하므로 동서 스토리지 트래픽과 북-남 애플리케이션 흐름 모두에 이상적입니다.

3. 이 솔루션에서 NVIDIA Mellanox MCX653106A-HDAT의 역할 및 주요 기능

그만큼MCX653106A-HDAT ConnectX 어댑터 PCIe 네트워크 카드기본 데이터 플레인 엔진 역할을 합니다. 주요 역할은 다음과 같습니다.

RDMA/RoCE 가속:혼잡 관리, 비순차적 패킷 처리 및 애플리케이션 버퍼에 대한 즉각적인 데이터 배치를 포함하여 RoCEv2의 전체 하드웨어 오프로드입니다.
스토리지 프로토콜 오프로드:NVMe-oF(TCP 및 RoCE 변형 모두), iSER 및 SRP에 대한 기본 지원으로 소프트웨어 기반 대상 처리가 필요하지 않습니다.
가상화 및 멀티 테넌시:오버레이 터널 오프로드를 통해 포트당 최대 1,000개의 VF(가상 기능)가 회선 속도 캡슐화/캡슐화를 보장합니다.
보안 및 원격 측정:200Gbps의 인라인 IPsec/TLS 암호화와 하드웨어 기반 흐름 추적(예: 연결 추적, 히스토그램).

에 따르면MCX653106A-HDAT 사양, 어댑터는 PCIe 4.0/5.0 x16 인터페이스를 지원하므로 최대 200GbE 회선 속도에서도 호스트 측 병목 현상이 발생하지 않습니다.

4. 배포 및 확장 권장 사항(일반적인 토폴로지 사용)

검증된 참조 토폴로지는 다음으로 구성됩니다.

컴퓨팅 계층:48개의 듀얼 소켓 서버(각각 1개씩 장착)MCX653106A-HDAT(듀얼 포트 100GbE 구성) 포트는 활성-활성 LAG로 결합됩니다.
저장 계층:올플래시 NVMe-oF 대상 서버 12개(각각 2개 포함)MCX653106A-HDAT 이더넷 어댑터 카드단위 — 하나는 프런트엔드 컴퓨팅 액세스용이고 다른 하나는 백엔드 복제용입니다.
네트워크 계층:100GbE 스파인 스위치 4개와 리프 스위치 8개는 DCBX, PFC(RoCE용 클래스 3) 및 ECN 임계값으로 구성됩니다.

200개 노드 이상으로 확장하기 위해 아키텍처는 하드웨어 오프로드(완전히MCX653106A-HDAT 호환주요 벤더의 스위치와 함께). 용량을 평가할 때,MCX653106A-HDAT 가격사용 가능한 100GbE 포트당 비용은 유사한 파이버 채널 또는 InfiniBand 솔루션보다 약 40% 낮습니다.

5. 운영, 모니터링, 문제 해결 및 최적화

RDMA/RoCE 배포를 효과적으로 작동하려면 전문 도구가 필요합니다. 다음과 같은 방법이 권장됩니다.

측면	권장 작업 및 도구
원격 측정 및 가시성	다음을 통해 하드웨어 카운터를 활성화합니다.`mlx5cmd`그리고 프로메테우스 수출업자; PFC 일시 중지, ECN 표시 패킷 및 RoCE 재전송을 모니터링합니다.
혼잡 감지	사용`ethtool -S`대기열별 통계의 경우; NVIDIA의 Docker 기반 혼잡 원격 측정 키트를 배포합니다.
펌웨어 및 드라이버 관리	유지하다MCX653106A-HDAT 호환DOCA 2.5+ 드라이버 스택과 함께 펌웨어 버전(≥ 26.35.x).
최적화 지침	점보 프레임의 경우 MTU=9000을 설정합니다. roce_rx_qos_policy를 조정하십시오. 혼합 워크로드에 대해 동적 인터럽트 조정을 활성화합니다.

문제 해결을 위해 다음을 사용하여 RoCEv2 관련 메타데이터를 캡처합니다.rdmatool그리고ibv_devinfo. 일반적인 함정에는 잘못 구성된 PFC 우선순위(모든 네트워크 장치 전반에 걸쳐 일관성 보장)와 일치하지 않는 PCIe 링크 속도(다음으로 검증)가 포함됩니다.lspci -vvv).

6. 요약 및 가치 평가

그만큼NVIDIA Mellanox MCX653106A-HDAT표준 이더넷 패브릭을 고성능, 무손실 네트워크로 변환하기 위한 입증된 프로덕션 지원 플랫폼을 제공합니다. 핵심 가치 평가에는 다음이 포함됩니다.

숨어 있음:결정적 10μs 미만의 NVMe-oF 읽기 대기 시간(P99)을 통해 실시간 분석 및 HPC 융합이 가능합니다.
처리량:패킷 손실이 없는 거의 회선 속도 200GbE, 검증됨MCX653106A-HDAT 사양.
CPU 효율성:이전에 네트워크 및 스토리지 스택에서 사용했던 CPU 코어를 최대 30%까지 확보합니다.
TCO:독점 상호 연결과 비교하면,MCX653106A-HDAT 판매용표준 이더넷 스위칭과 결합된 가격 책정을 통해 3년 운영 비용을 약 35~50% 절감할 수 있습니다.

설계자와 운영 리더는 AI 패브릭, 분리된 스토리지, 대기 시간이 매우 짧은 금융 시스템을 위해 이 솔루션을 자신있게 배포할 수 있습니다. 자세한 구현 단계는 공식을 참조하세요.MCX653106A-HDAT 데이터시트NVIDIA의 DOCA 문서 라이브러리.