NVIDIA Mellanox MCX4121A-ACAT 서버 어댑터 기술 솔루션

이 기술 솔루션은 네트워크 아키텍트, 사전 판매 엔지니어 및 운영 리더를 위해 설계되었습니다.NVIDIA 멜라노크스 MCX4121A-ACAT서버 어댑터는 RDMA/RoCE 기반의 낮은 지연 전송을 가능하게 하고 현대 데이터 센터 환경에서 서버 처리량을 극적으로 향상시킵니다.

1프로젝트 배경 및 요구사항 분석

전통적인 TCP/IP 네트워크는 분산 데이터베이스, NVMe-oF 스토리지 및 실시간 분석과 같은 성능에 민감한 워크로드에 근본적인 제한을 가한다.주요 통증점은 네트워크 스택 처리로 인한 높은 CPU 오버헤드입니다., 패킷 재전송으로 인한 예측 불가능한 지연, 그리고 커널과 애플리케이션 공간 사이의 비효율적인 메모리 복사.

이러한 과제를 해결하기 위해 현대 데이터 센터는 다음과 같은 것을 제공하는 네트워크 솔루션을 필요로 합니다.

• 스토리지 및 HPC 트래픽에 대한 10 마이크로초 이하의 끝에서 끝까지의 지연
• 커널 우회 및 CPU 부하를 줄이기 위한 직접 메모리 액세스
• 포트당 25GbE를 지원하는 손실 없는 이더넷 천재
• 기존 이더넷 인프라와 원활한 통합

의MCX4121A-ACATRoCE 기반 솔루션은 표준 스위칭 생태계와 호환성을 유지하면서 이러한 요구 사항을 직접 충족시킵니다.

2전체 네트워크 및 시스템 아키텍처 설계

제안된 아키텍처는 25GbE 액세스 계층에서 손실 없는 이더넷을 가진 잎 척추 토폴로지를 채택합니다. 각 컴퓨팅 또는 스토리지 서버는 하나 또는 두 개의MCX4121A-ACAT 이더넷 어댑터 카드, SFP28 DAC 케이블 또는 광 수신기를 통해 잎 스위치에 연결합니다.잎 스위치는 우선 순위 흐름 제어 (PFC) 및 향상된 전송 선택 (ETS) 를 포함한 데이터 센터 브리딩 (DCB) 프로토콜을 지원합니다.RoCE 트래픽에 필수적입니다.

높은 가용성 디자인을 위해, 듀얼 포트 어댑터는 활성-활동 결합 또는 실패 전환 구성을 가능하게합니다. 척추 층은 100GbE 업링크를 사용하여 잎 스위치를 집계합니다.동서 교통 패턴에 대한 차단되지 않는 대역폭을 보장합니다.이 설계의 핵심은 VLAN 및 QoS 클래스를 사용하여 일반 TCP/IP 관리 트래픽에서 RoCE 스토리지 트래픽을 분리하는 것입니다.

3. NVIDIA Mellanox MCX4121A-ACAT의 역할 및 주요 기능

의NVIDIA 멜라노크스 MCX4121A-ACAT컨버지드 이더넷을 통한 RDMA를 가능하게 하는 중요한 엔드포인트 컴포넌트 역할을 합니다.이 듀얼 포트 25GbE SFP28 어댑터는 다음과 같은 하드웨어 가속 기능을 제공합니다.:

• RoCE 하드웨어 오프로드:소프트웨어 오버헤드를 제거하는 실리콘에서 RDMA 전송 처리 완료
• 태그 매칭 및 도어벨 복구:하드웨어 지원으로 신뢰성 있는 연결 관리
• SR-IOV 가상화:컨테이너 및 VM 밀도를 위해 포트당 최대 256개의 가상 함수
• GPUDirect RDMA:AI/ML 훈련 클러스터에 대한 직접 GPU 메모리 액세스
• 오버레이 네트워크 오프로드:VXLAN, NVGRE 및 Geneve를 위한 하드웨어 캡슐화/디캡슐화

의MCX4121A-ACAT ConnectX-4 Lx 듀얼 포트 25GbE SFP28아댑터는 또한 적응적 라우팅, 혼잡 제어, 그리고 번스트 버퍼 오프로드를 포함한 고급 기능을 지원합니다.MCX4121A-ACAT 데이터 시트전기, 열 및 기계적 사양을 제공합니다.

4배포 및 확장 권고 (토폴로지 예제)

전형적인 토폴로지 25GbE RoCE 천 100+ 노드:

• 액세스 계층:48포트 25GbE 잎 스위치, DCB 지원
• 척추 층:32포트 100GbE 스핀 스위치
• 서버 어댑터: MCX4121A-ACATPCIe 3.0 x8 슬롯 (두 포트)
• 케이블:SFP28 패시브 DAC 인트라랙 (≤5m), 액티브 옵틱 크로스 랙

배포 단계:

• 서버 BIOS 설정을 확인 (PCIe 분기, SR-IOV 활성화, 4G 디코딩 이상)
• 설치NVIDIA 멜라노크스 MCX4121A-ACAT펌웨어 mlxup 또는 MST 도구를 통해
• 스위치 포트를 구성합니다: PFC 우선순위 3-5, ETS 대역폭 할당, 신뢰 DSCP
• 호스트에서 RoCE를 활성화: RoCE 모드를 v2 (루팅 친화적) 로 설정, GID 전자를 구성
• iBdiagnet 및 ccounter 모니터링을 사용하여 손실 없는 동작을 검증

500+ 노드로 확장하려면, 생산 동서 통신에서 저장 트래픽을 격리하기 위해 별도의 RoCE 저장 조직을 배포하는 것을 고려하십시오.MCX4121A-ACAT 호환성이 생태계는 모든 주요 서버 OEM 및 스위치 공급자를 포함하며 원활한 확장성을 보장합니다.

5. 운영, 모니터링, 문제 해결 및 최적화

주요 모니터링 메트릭:

• RoCE 패킷 드롭 (PFC 구성 문제를 나타냅니다)
• RDMA 전송/ 수신 완료 대기열 깊이
• 포트 오류, CRC 및 링크 재열차
• 코어당 CPU 사용량 (커널 바이패스 효율을 측정)

필수 도구:

• mellanox_perf ∙ 어댑터 수준의 대역폭/지체 측정
• iBdiagnet RoCE 직물 검증 및 케이블 진단
• ethtool -S ∙ 큐별 통계 및 출하 카운터
• syslog/dmesg 드라이버 및 펌웨어 이벤트 추적

최적화 지침:

• NRPE (네트워크 수신 페이징 활성화) 를 설정하여 멀티 스트림 공정성을 설정합니다.
• 작업 부하의 종류에 따라 인터럽트 코아레스센스 (모더레이션) 를 조정
• 저장 작업 부하를 위해 RDMA 완료를 전용 CPU 코어에 묶어
• 사용MCX4121A-ACAT 사양지속된 선속 부하에서 열 한도를 검증하기 위해

예산과 소싱이 고려되어야 할 때MCX4121A-ACAT 가격추세와MCX4121A-ACAT 판매허가 된 배급자를 통해 사용할 수 있습니다. 양량 조달은 일반적으로 진정한 펌웨어 지원을 보장하면서 단위 비용을 낮추습니다.

6요약 & 가치 평가

의MCX4121A-ACAT 이더넷 어댑터 카드 솔루션여러 차원에서 측정 가능한 이점을 제공합니다.

원시 성능을 넘어, 이 솔루션은 저장 및 데이터 네트워크를 하나의 손실 없는 이더넷 조직에 통합함으로써 TCO를 줄입니다.MCX4121A-ACAT조직이 기존의 스위치 투자를 보존하고 기존에 인피니밴드에 예약된 RDMA 기능을 잠금 해제 할 수 있습니다.이 어댑터는 검증된, 낮은 지연, 높은 처리량 서버 네트워크로 확장 가능한 경로.