NVIDIA 멜라녹스 MCX653106A-HDAT 서버 어댑터 기술 백서 RDMA/RoCE 저연속 전송 및 서버 처리량

NVIDIA Mellanox MCX653106A-HDAT 서버 어댑터 기술 백서 | RDMA/RoCE 저지연 전송 및 서버 처리량 최적화

1. 프로젝트 배경 및 요구사항 분석

인공지능, 고성능 컴퓨팅(HPC), 분산 데이터베이스, 엔터프라이즈 스토리지에 이르는 현대 데이터 센터 워크로드는 네트워킹 요구사항을 근본적으로 변화시켰습니다. 보편적으로 사용되는 기존 TCP/IP 기반 네트워크 스택은 규모가 커질수록 지연 시간과 CPU 오버헤드를 발생시켜 prohibitive하게 됩니다. NVMe over Fabrics(NVMe-oF), 분산 머신러닝 학습, 실시간 분석과 같은 애플리케이션은 최적의 성능을 달성하기 위해 결정론적이고 5마이크로초 미만의 지연 시간과 하드웨어 가속 데이터 이동을 요구합니다.

네트워크 아키텍트 및 인프라 리더는 이러한 성능이 중요한 워크로드의 전송 방식으로 RDMA over Converged Ethernet(RoCE)을 점점 더 많이 채택하고 있습니다. 그러나 성공적인 RoCE 배포는 전송 처리를 오프로드하고, 혼잡을 효과적으로 관리하며, 포괄적인 업그레이드 없이 기존 이더넷 패브릭과 원활하게 통합하는 기본 어댑터의 능력에 달려 있습니다. 엔터프라이즈, 클라우드, HPC 환경 전반에서 식별된 주요 요구사항은 다음과 같습니다:

• 고빈도 거래 및 인메모리 데이터베이스와 같은 지연 시간에 민감한 애플리케이션을 위한 3마이크로초 미만의 종단 간 RDMA 지연 시간
• 고밀도 스토리지 노드 및 GPU 가속 컴퓨팅 클러스터를 지원하기 위한 서버당 100Gb/s 이상의 집계 처리량
• AI 및 HPC 워크로드에서 호스트 측 메모리 복사를 제거하기 위한 GPUDirect의 하드웨어 오프로드
• 결정론적이고 지터 없는 성능을 위한 PFC 및 ECN을 통한 무손실 이더넷 전송
• 사전 운영 가시성 및 문제 해결을 위한 포괄적인 텔레메트리 및 프로그래밍 가능한 데이터 경로

일반적인 배포 토폴로지제안된 솔루션 아키텍처는 서버 액세스 계층에서 25/50/100GbE 연결을 갖춘 리프-스파인 토폴로지를 사용합니다. 각 컴퓨팅, 스토리지 또는 GPU 가속 노드에는 MCX653106A-HDAT ConnectX 어댑터 PCIe 네트워크 카드가 장착되어 상단 랙(ToR) 스위치에 대한 이중화된 연결을 제공합니다. 아키텍처는 네 가지 별도의 계층으로 구성됩니다:

컴퓨팅/스토리지 엣지:

MCX653106A-HDAT 이더넷 어댑터 카드는 PCIe Gen 4.0 x16을 통해 호스트에 연결되며, 최대 256GB/s의 양방향 호스트 대역폭을 제공하여 버스트 트래픽 및 향후 속도 업그레이드를 위한 헤드룸을 유지하면서 듀얼 100GbE 포트를 완전히 포화시키기에 충분합니다.네트워크 패브릭:듀얼 포트는 능동-능동 로드 밸런싱 및 하드웨어 LAG 오프로드를 위한 유연한 미디어(25GbE용 SFP28, 50/100GbE용 QSFP)를 지원합니다. 어댑터는 하드웨어 기반 장애 조치를 통해 최대 200Gb/s의 집계 처리량을 지원합니다.

• RDMA 전송 계층:모든 트래픽 유형에 대해 무손실 이더넷을 가능하게 하여 별도의 스토리지 및 컴퓨팅 네트워크의 필요성을 제거하고 자본 및 운영 지출을 모두 절감합니다.실시간 패브릭 모니터링 및 성능 최적화를 위한 인밴드 텔레메트리로 보완되는 전체 Redfish 및 SNMP 지원을 통한 아웃오브밴드 관리.
• 이 설계는 NVIDIA Mellanox MCX653106A-HDAT가 RDMA 엔드포인트 역할을 하여 호스트 CPU 개입 없이 직접 메모리 간 전송을 가능하게 하는 통합된 무손실 이더넷 패브릭을 강조합니다. 이 아키텍처는 기존 이더넷 스위칭 인프라와 완벽하게 MCX653106A-HDAT 호환되며, 일반적으로 모든 주요 공급업체의 최신 데이터 센터 스위치에서 사용 가능한 PFC 및 ECN 지원만 필요합니다.3. NVIDIA Mellanox MCX653106A-HDAT의 역할 및 주요 기능
• MCX653106A-HDAT는 아키텍처에서 핵심적인 역할을 하며, 저지연, 고처리량 네트워킹을 가능하게 하는 네 가지 고유한 가치 계층을 제공합니다:A. 하드웨어 가속 RDMA 엔진
• 어댑터는 RoCEv2 전송 작업(분할, 재조립, 혼잡 제어 및 완료 처리 포함)을 호스트 CPU에서 완전히 오프로드하는 완전히 프로그래밍 가능한 패킷 처리 파이프라인을 통합합니다. MCX653106A-HDAT 데이터시트에 따르면, 하드웨어는 모든 패킷 크기에 대해 와이어 속도 성능을 지원하며, 최대 메시지 속도는 200Mpps이고 종단 간 지연 시간은 1마이크로초 미만입니다.B. GPUDirect 및 NVMe-oF 오프로드

MCX653106A-HDAT의 주요 차별점은 GPUDirect에 대한 통합 지원으로, 호스트 측 복사 없이 GPU 메모리와 네트워크 인터페이스 간의 직접적인 데이터 이동을 가능하게 하여 분산 AI 학습에서 중요한 병목 현상을 제거합니다. 스토리지 워크로드의 경우, 어댑터는 NVMe-oF 작업을 오프로드하여 표준 이더넷을 전용 InfiniBand로만 달성할 수 있었던 지연 시간 특성을 가진 고성능 스토리지 패브릭으로 변환합니다.어댑터는 엄격한 우선 순위, 가중치 공정 큐잉 및 속도 제한을 지원하는 트래픽 클래스별 우선 순위를 제공합니다. 혼잡 관리 기능에는 하드웨어 기반 ECN 마킹, PFC 생성 및 적응형 라우팅 기능이 포함되며, 모두 MCX653106A-HDAT 사양을 통해 구성할 수 있습니다.D. 보안 및 프로그래밍 가능성어댑터에는 하드웨어 루트 오브 트러스트, 보안 부팅, 암호화된 펌웨어 업데이트 및 보안 관리 인터페이스가 포함됩니다. 프로그래밍 가능한 데이터 경로는 유연한 매치-액션 처리를 지원하여 사용자 정의 오프로드 및 고급 운영 가시성을 위한 인밴드 네트워크 텔레메트리(INT) 수집을 가능하게 합니다.

4. 배포 및 확장성 권장 사항

일반적인 배포 토폴로지리프 스위치:

RoCEv2 지원을 갖춘 25/50/100GbE ToR 스위치로, 전용 우선 순위 큐(일반적으로 하나 또는 두 개의 우선 순위)에 PFC 및 혼잡 신호용 ECN이 구성되어 있습니다. 최적의 RoCE 성능을 위해 점보 프레임(MTU 9000)을 권장합니다.
서버 노드:스파인 계층:

여러 랙에 걸친 마이크로 버스트를 흡수할 수 있는 충분한 버퍼 용량을 갖춘 비차단 랙 간 연결을 제공하는 100/400GbE 스파인 스위치.
스토리지/컴퓨팅 통합:확장성 고려 사항

혼잡 도메인:
PFC 전파를 제한하기 위해 패브릭을 여러 혼잡 관리 영역(예: 랙별 또는 클러스터별)으로 분할합니다. 어댑터의 포트별 속도 제한은 노이즈가 많은 이웃을 격리하고 공정한 대역폭 할당을 유지하는 데 도움이 됩니다.오케스트레이션 통합:어댑터는 Kubernetes(NVIDIA 네트워크 연산자를 통해) 및 OpenStack에서 완벽하게 지원되어 클라우드 규모 환경에서 자동화된 프로비저닝 및 수명 주기 관리를 가능하게 합니다.

미래 보장:
MCX653106A-HDAT는 100GbE 이상의 속도를 지원하여 어댑터 교체 없이 향후 네트워크 업그레이드를 위한 헤드룸을 제공합니다. PCIe Gen 4.0 인터페이스는 차세대 서버 플랫폼과의 호환성도 보장합니다.

MCX653106A-HDAT 가격을 평가하는 조직의 경우, 총 소유 비용에는 전용 스토리지 네트워크 제거로 인한 절감액, CPU 코어 할당 감소(일반적으로 서버당 4-6개 코어 복구), 통합 패브릭 관리로 인한 운영 효율성이 포함되어야 합니다.

5. 운영, 모니터링, 문제 해결 및 최적화

모니터링 프레임워크

• 이 솔루션은 다계층 관찰 가능성 접근 방식을 통합합니다:어댑터 수준 텔레메트리:
• MCX653106A-HDAT는 ethtool, sysfs 및 NVIDIA의 관리 도구를 통해 수백 개의 하드웨어 카운터를 노출합니다. 주요 메트릭에는 포트별 처리량, PFC 일시 중지 프레임, ECN 마킹된 패킷, RoCEv2 혼잡 이벤트, RDMA 완료 큐 통계 및 포트별 지연 시간 히스토그램이 포함됩니다.패브릭 수준 가시성:애플리케이션 상관 관계:
• 어댑터는 포트별 및 RDMA 완료 큐별 통계를 제공하여 네트워크 성능과 애플리케이션 수준 트랜잭션 지연 시간의 정확한 상관 관계를 가능하게 합니다.일반적인 문제 해결 시나리오
• NVIDIA Mellanox MCX653106A-HDAT에 대한 운영 경험을 바탕으로 다음과 같은 진단 패턴이 식별됩니다:PFC 폭풍 감지:

우선 순위별 PFC 일시 중지 프레임 카운터를 모니터링합니다. 지속적인 일시 중지(라인 속도의 5% 초과)는 혼잡 또는 잘못된 구성을 나타냅니다. 어댑터의 포트별 버퍼 사용률 카운터를 사용하여 소스를 조사합니다.

• RoCEv2 패킷 드롭:어댑터의 드롭 카운터(rx_discard, tx_discard)를 확인하고 ECN 마킹된 패킷과 상관 관계를 분석하여 어댑터 수준 드롭과 패브릭 수준 스로틀링을 구별합니다.
• 성능 튜닝:지연 시간 대 CPU 사용률의 균형을 맞추기 위해 인터럽트 코얼레싱 매개변수를 조정합니다. 일반적으로 스토리지 워크로드의 경우 중간 코얼레싱을, 거래 애플리케이션의 경우 최소 코얼레싱을 설정합니다. MCX653106A-HDAT 데이터시트는 모든 조정 가능한 매개변수에 대한 자세한 지침을 제공합니다.
• 최적화 지침모든 트래픽 유형에 대해 무손실 이더넷을 가능하게 하여 별도의 스토리지 및 컴퓨팅 네트워크의 필요성을 제거하고 자본 및 운영 지출을 모두 절감합니다.관찰된 워크로드 프로필에 따라 어댑터의 공급업체별 버퍼 구성 도구를 사용하여 우선 순위별 PFC 임계값을 동적으로 구성합니다.

속도 제한(트래픽 클래스별) 및 엄격한 우선 순위 또는 가중치 공정 큐잉을 포함한 어댑터의 고급 QoS 기능을 활성화합니다.대규모 배포의 경우, 어댑터의 802.1Qaz DCBX 지원을 활용하여 스위치와의 PFC 및 ECN 협상을 자동화합니다.특정 애플리케이션 요구 사항에 맞게 사용자 정의 텔레메트리 수집 또는 특수 패킷 처리 오프로드를 구현하기 위해 어댑터의 프로그래밍 가능한 데이터 경로를 활용합니다.

6. 요약 및 가치 평가

NVIDIA Mellanox의 MCX653106A-HDAT를 중심으로 한 기술 솔루션은 3마이크로초 미만의 RDMA 지연 시간과 서버당 100Gb/s를 초과하는 집계 처리량을 달성하기 위한 명확한 경로를 제공합니다. MCX653106A-HDAT 이더넷 어댑터 카드는 AI 학습, HPC, 엔터프라이즈 스토리지 및 실시간 분석 워크로드를 동시에 지원하는 현대적인 통합 데이터 센터 패브릭의 기본 빌딩 블록 역할을 합니다.

주요 가치 제안은 다음과 같습니다:

• 인프라 통합:모든 트래픽 유형에 대해 무손실 이더넷을 가능하게 하여 별도의 스토리지 및 컴퓨팅 네트워크의 필요성을 제거하고 자본 및 운영 지출을 모두 절감합니다.GPUDirect를 통한 하드웨어 오프로드 RoCEv2는 90% 이상의 라인 속도 사용률에서도 결정론적이고 마이크로초 미만의 지연 시간을 보장하여 AI 학습, 실시간 분석 및 고빈도 거래에 중요합니다.
• 운영 효율성:포괄적인 텔레메트리, 자체 복구 혼잡 관리 및 자동화된 오케스트레이션 통합은 평균 해결 시간(MTTR) 및 운영 오버헤드를 줄입니다.
• 투자 보호:어댑터의 PCIe Gen 4.0 인터페이스, 프로그래밍 가능성 및 다중 속도 포트 지원은 향후 CPU 세대 및 더 빠른 네트워크 패브릭과의 호환성을 보장합니다.

MCX653106A-HDAT 판매 옵션을 적극적으로 평가하는 조직의 경우, 이 솔루션은 금융 서비스, 클라우드 제공업체, 의료 및 연구 기관 전반의 프로덕션 환경에서 검증된 참조 아키텍처를 제공합니다. 성능, 확장성 및 운영 성숙도의 조합은 고성능의 미래 지향적인 데이터 센터 인프라를 구축하는 데 전념하는 모든 조직에게 NVIDIA Mellanox MCX653106A-HDAT를 전략적 투자로 만듭니다.