NVIDIA Mellanox MCX4121A-ACAT 서버 어댑터 기술 솔루션

이 기술 솔루션은 네트워크 아키텍트, 사전 판매 엔지니어 및 운영 관리자를 위해 설계되었습니다.고 처리량 데이터 센터 네트워크 인프라 RoCE (RDMA over Converged Ethernet) 기술을 기반으로NVIDIA 멜라노크스 MCX4121A-ACAT서버 어댑터. 문서에는 아키텍처 설계, 주요 기술, 배포 전략 및 운영 최선 사례가 포함됩니다.

1프로젝트 배경 및 요구사항 분석

현대 데이터 센터는 세 가지 근본적인 과제와 직면합니다. 전통적인 TCP/IP 스택의 CPU 오버헤드, 분산 애플리케이션에 대한 예측 불가능한 레이텐스 지쳐,그리고 동서 간 대역폭의 증가하는 비용작업 부하가 인공지능 훈련, 분산 데이터베이스 및 NVMe-oF 스토리지 패브릭으로 이동함에 따라 RDMA 오프로드가없는 기존 10GbE 또는 25GbE 어댑터는 중요한 병목이됩니다.중간에서 큰 클라우드 또는 기업 데이터 센터의 전형적인 대상 환경은 3μs 이하의 대기 시간을 필요로 합니다., 네트워크 처리에 대한 CPU 사용률이 10% 미만이며 서버 당 라인 속도 50Gb/s 총 처리량.MCX4121A-ACAT 이더넷 어댑터 카드이러한 요구사항을 직접적으로 다루고 있습니다.

2전체 네트워크 및 시스템 아키텍처 설계

제안된 아키텍처는 손실이 없는 이더넷 전송과 함께 2단계 잎-추상 토폴로지를 따르고 있다. 주요 설계 원칙은 다음과 같다:

• 잎층:DCB (데이터 센터 브리딩) 지원과 함께 ToR 스위치 PFC, ETS 및 DCBX가 활성화되었습니다.
• 척추 층:막지 않는 스위치로 잎을 연결할 수 있습니다.
• 서버 계층:각 컴퓨팅/저장 노드MCX4121A-ACAT ConnectX-4 Lx 듀얼 포트 25GbE SFP28어댑터
• 운송 프로토콜:RoCE v2 IP 라우팅 지원, 레이어 3 경계를 통해 RDMA를 가능하게 합니다.

이 아키텍처는 48개의 노드에서 1,000개 이상의 노드까지 확장되며, 동시에 일관성 있는 미세초 이하의 지연 시간을 유지합니다.각 어댑터의 듀얼 포트는 대역폭 집적 또는 높은 가용성을 위해 활성-활동 결합 또는 활성-시동으로 구성 될 수 있습니다..

3. NVIDIA Mellanox MCX4121A-ACAT의 역할 및 주요 기능

이 솔루션 내에서,NVIDIA 멜라노크스 MCX4121A-ACAT중요한 하드웨어 오프로드 엔진으로 작용합니다.MCX4121A-ACAT 데이터 시트, 주요 기능은 다음을 포함합니다:

• 하드웨어 기반의 운송 출하:아댑터 하드웨어에서 RDMA/RoCE 프로토콜 처리 완료, 데이터 이동에 CPU 참여를 제거합니다.
• 듀얼 포트 25GbE SFP28:SR, LR 및 DAC 케이블에 대한 유연한 미디어 지원; 10GbE 및 1GbE와 후향 호환.
• PCIe 3.0 x8 호스트 인터페이스:최대 64Gb/s의 양방향 대역폭을 제공하며, 유선 속도에 대한 차단이 없습니다.
• NVMe-oF 가속도:NVMe/TCP 및 NVMe/RoCE 명령 처리용 네이티브 오브로드
• 오버레이 오프로드:VXLAN, GENEVE, NVGRE 터널에 대한 하드웨어 가속

의MCX4121A-ACAT 사양메모리에 묶인 전송을 위해 포트당 최대 100만 IOPS의 지연 시간을 0.8μs 이하로 지원하는 것을 확인하고, 고주파 거래, 실시간 분석 및 분산 저장에 이상적입니다.

4배포 및 확장 권고 (토폴로지)

전형적인 배포는 랙 레벨의 점진적 배포를 따릅니다. 아래는 참조 두 랙 토폴로지입니다:

두 개의 래크를 넘어 확장하기 위해, 척추 스위치는 모든 잎 스위치를 상호 연결합니다.MCX4121A-ACAT 호환성광학 및 케이블, PFC 및 링크 훈련 안정성을 보장하기 위해 NVIDIA의 호환성 목록에서 공급자 테스트 된 SFP28 모듈을 선택하십시오. 조직은 소스를 얻을 수 있습니다.MCX4121A-ACAT 판매허가된 유통업체를 통해,MCX4121A-ACAT 가격일반적으로 용량에 따라 어댑터당 400~600달러 정도입니다.

5. 운영 모니터링, 문제 해결 및 최적화

효과적인 RoCE 배포는 능동적 인 모니터링을 필요로합니다. 권장 실천에는 다음이 포함됩니다.

• 원격 측정:내장된 RoCE 카운터 (port_xmit_wait, port_rcv_remote_physical_errors) 와 함께 NVIDIA의 MLNX_OFED 드라이버 스위트를 사용하십시오.
• 혼잡 감지:PFC 중지 프레임을 모니터링합니다. 0 이외의 지속적인 값은 버퍼 압력을 나타냅니다.
• 버퍼 조정:손실 없는 버퍼 풀을 위해 2-3x BDP (Bandwidth-Delay Product) 를 구성합니다.
• ECN/RED 기준:주력적으로 혼잡을 피하기 위해 1%의 대기열 깊이로 표시 확률을 설정합니다.

일반적인 문제 해결 시나리오: RoCE 성능이 저하되면 DCB 구성이 모든 스위치와 어댑터 펌웨어에서 동일하는지 확인합니다.MCX4121A-ACAT 이더넷 어댑터 카드 솔루션케이블 무결성 및 링크 상태를 검증하는 진단 도구 (ibdiagnet, mlxlink) 를 포함합니다.이러한 메트릭스를 Prometheus/Grafana 대시보드에 통합하여 중단 프레임 또는 과도한 재전송에 대한 경고를 제공합니다..

6요약 & 가치 평가

의NVIDIA 멜라노크스 MCX4121A-ACAT세 가지 차원에서 측정 가능한 값을 제공합니다.성능(소-2μs 지연, 49Gb/s 효과적 처리량)효율성(네트워크 I/O에 있어서 CPU 사용량이 5% 이하이며)TCO이 어댑터는 다음 세대의 데이터 센터를 구축하는 조직을 위해 생산에 검증된,매우 확장성MCX4121A-ACAT 이더넷 어댑터 카드 솔루션표준 이더넷 경제와 고성능 컴퓨팅 요구 사항 사이의 격차를 줄입니다. 네트워크 아키텍트는MCX4121A-ACAT 데이터 시트세부적인 레지스터 수준의 사양 및 통합 가이드