NVIDIA Mellanox MCX4121A-ACAT 서버 어댑터 기술 솔루션: RDMA/RoCE 저연속성 구축

NVIDIA Mellanox MCX4121A-ACAT 서버 어댑터 기술 솔루션: RDMA/RoCE 낮은 지연, 높은 처리량 데이터 센터 액세스 계층 구축

솔루션 코어:MCX4121A-ACATNVIDIA Mellanox 브랜드: 기술 집중력: RDMA/RoCE 낮은 지연 전송 & 서버 처리량 최적화

1프로젝트 배경 및 요구사항 분석

엔터프라이즈 데이터 센터가 하이브리드 클라우드 아키텍처, 대규모 AI 모델 훈련, 분산 스토리지 시스템에 대한 진화를 계속하면서서버 액세스 계층은 전체 응용 프로그램 성능에 영향을 미치는 중요한 병목이되었습니다.전통적인 10GbE 어댑터와 TCP/IP 프로토콜 스택은 현대 작업 부하에 필요한 결정적인 낮은 대기 시간과 높은 처리량을 제공하기 위해 투쟁합니다. 구체적으로,3개의 핵심 통증점이 나타났습니다.: 네트워크 프로토콜 처리로 인한 과도한 CPU 오버헤드, 분산 스토리지 액세스에서 예측할 수없는 꼬리 지연, 가상화 및 컨테이너 환경에 대한 제한된 확장성.

의NVIDIA 멜라노크스 MCX4121A-ACAT성숙하고 고성능의 25GbE 액세스 솔루션을 제공함으로써 이러한 과제를 해결하도록 설계되었습니다. 이 기술적 솔루션에서 다루는 주요 요구 사항은 다음을 포함합니다.저장장치 및 인공지능 워크로드를 위한 RDMA 지연시간은 5μs 이하입니다., TCP/RDMA 프로토콜의 하드웨어 오프로드로 CPU 사용량을 최대 40%까지 줄이고, 기존 10GbE/25GbE 스위칭 인프라와 원활한 호환성,그리고 SR-IOV와 VirtIO를 포함한 현대 가상화 기술을 지원합니다..

2전체 네트워크 및 시스템 아키텍처 설계

제안된 아키텍처는 RoCEv2 트랜스포트 계층을 가진 표준 잎 척추 토폴로지를 활용합니다. 서버가 조직에 연결되는 액세스 계층이 이 솔루션의 초점입니다.의MCX4121A-ACAT 이더넷 어댑터 카드모든 컴퓨팅 및 스토리지 노드의 기본 빌딩 블록으로 작용합니다.

이 구조는 다음과 같은 주요 구성 요소로 구성됩니다.

• 서버 액세스 계층:각 컴퓨팅 및 스토리지 서버에는 하나 또는 두 개의 MCX4121A-ACAT 어댑터가 장착되어 있으며, 이중 포트 25GbE 연결을 잎 스위치에 제공합니다.링크 집계 (LACP) 및 액티브/스탠드바이 실패 전환은 과잉으로 구성됩니다..
• 잎 척추로 만든 직물:RoCEv2 기능을 갖춘 스위치 (예를 들어, NVIDIA 스펙트럼) 의 집합은 잎 척추 조직을 형성하며, PFC와 ECN는 전체 네트워크에서 손실없는 RoCE 전송을 보장 할 수 있습니다.
• 용기:NVMe-oF 타겟은 전용 저장 서버에 배포되어 있으며, RDMA를 활용하여 직접 메모리 액세스를 제공하고 커널 TCP/IP 오버헤드를 우회합니다.
• 매니지먼트 & 오케스트레이션:NVIDIA NetQ 또는 타사 텔레메트리 도구를 통한 통일 관리는 직물 건강 및 RDMA 성능에 대한 실시간 가시성을 제공합니다.

의MCX4121A-ACAT ConnectX-4 Lx 듀얼 포트 25GbE SFP28설계는 서버가 두 개의 독립적인 잎 스위치로 듀얼 로밍을 할 수 있도록 보장하며 RDMA 및 일반 이더넷 트래픽을 모두 로드 밸런싱을 제공하는 동시에 단일 장애 지점을 제거합니다.

3. NVIDIA Mellanox MCX4121A-ACAT의 역할 및 주요 기능

의NVIDIA 멜라노크스 MCX4121A-ACAT하드웨어 가속 RDMA 및 고급 오프로드 기능을 제공하는 이 솔루션의 초석입니다.MCX4121A-ACAT 데이터 시트그리고MCX4121A-ACAT 사양, 어댑터는 다음의 핵심 기술을 통합합니다:

의MCX4121A-ACAT 호환성생태계는 주요 서버 플랫폼 (델, HPE, 레노보, 수퍼마이크로, 등), 운영 체제 (리눅스, 윈도우, VMware ESXi) 및 스위치 공급 업체에 걸쳐 있으며 공급 업체 로크 인 없이 원활한 통합을 보장합니다..이 광범위한 호환성은MCX4121A-ACAT 이더넷 어댑터 카드 솔루션다양한 기업 환경에서 적용될 수 있습니다.

4배포 및 확장성 권고 (유형 토폴로지 포함)

평가하는 조직의 경우MCX4121A-ACAT 판매선택 사항 및 그들의 배치를 계획, 우리는 작업량 증가에 맞춰 단계적 접근 방식을 권장합니다.

• 1단계 (실험용 AI 추론 클러스터):인공지능 추론 서버에 두 개의 MCX4121A-ACAT 어댑터를 배포합니다.PFC/ECN로 RoCEv2를 구성하고 NVIDIA의 MLNX_OFED 또는 인박스 드라이버 스택을 사용하여 성능을 검증합니다..
• 2단계 (포드 확장) 저장 및 계산:배포를 48-96 컴퓨팅 노드 및 8-16 스토리지 서버로 확장합니다. 지정된 스토리지 노드에서 NVMe-oF 목표 / 초기화 오프로드를 활성화하십시오. 대역폭 확장을위한 링크 집계 (결합) 을 사용하십시오.
• 단계 3 (다중 랙 / 다중 데이터 센터):동일한 RoCEv2 직물을 사용하여 랙을 통해 RDMA 연결을 확장하십시오. 사이트 간 경우 RDMA 전송을 유지하면서 MACsec 암호화 DCI 링크를 고려하십시오.

중간 크기의 AI/HPC 팟에 대한 전형적인 토폴로지는 다음과 같습니다: 16개의 컴퓨팅 서버 (각 서버에는 2개의 MCX4121A-ACAT 어댑터가 2×25GbE 전체 대역폭 = 50GbE 효과적)4개의 저장 서버 (NVMe-oF 목표), 그리고 2-4 개의 잎 스위치 (RoCEv2-가 가능한). 척추 층은 2-4 개의 고 용량 스위치로 구성됩니다.어댑터는 SR-IOV로 구성되어 컨테이너화된 AI 워크로드에 전용 가상 기능을 할당합니다., 예측 가능한 성능과 격리.

5. 운영 모니터링, 문제 해결 및 최적화

의NVIDIA 멜라노크스 MCX4121A-ACAT일상 관리를 효율화하기 위한 포괄적인 운영 도구를 포함합니다. 주요 모니터링 및 문제 해결 방법은 다음과 같습니다.

• 실시간 텔레미터:NVIDIA NetQ, PerfSONAR 또는 gNMI 기반 스트리밍 텔레메트리를 사용하여 포트 사용량, CRC 오류, PFC 중단 및 ECN 표시 이벤트를 모니터링합니다.이러한 메트릭스는 RDMA 성능에 영향을 미치는 혼잡 핫스팟을 식별하는 데 중요합니다..
• 드라이버 및 펌웨어 관리:정기적으로 드라이버 (MLNX_OFED 또는 인박스 리눅스 드라이버) 를 업데이트하고 최신 안정 버전의 어댑터 펌웨어를 업데이트합니다.MCX4121A-ACAT 데이터 시트추천된 펌웨어 버전과 알려진 문제 해결
• 성능 조정:작업 부하 프로파일을 기반으로 PFC 임계값과 ECN 표시 수준을 조정합니다. 저장 작업 부하의 경우 더 높은 우선 순위 클래스 (예를 들어, CoS 3) 를 가진 RDMA 트래픽을 우선 순위로 설정합니다. 컴퓨팅이 많은 작업 부하의 경우,처리량을 최적화하기 위해 인터럽트 코알레스싱과 버퍼 크기를 조정합니다..
• 결함 격리:어댑터의 내장 진단 (예를 들어, ethtool, mlxlink) 을 사용하여 링크 계층 문제를 식별합니다. RDMA 성능 저하의 경우,PFC 일시 중지 프레임과 ECN 카운터를 확인하여 혼잡 원인을 확인합니다..

또한 초기 배포 후 perftest (ib_write_bw, ib_read_bw) 같은 도구를 사용하여 RDMA 지연 및 처리량 기준을 설정하는 것이 좋습니다.이 기준은 미래의 성과 비교와 용량 계획에 대한 기준이 됩니다..

6요약 & 가치 평가

의NVIDIA 멜라노크스 MCX4121A-ACAT낮은 지연, 높은 처리량 데이터 센터 액세스 네트워크를 구축하기 위해 포괄적이고 비용 효율적인 솔루션을 제공합니다.MCX4121A-ACAT 가격전체 소유 비용에 비해 이점은 분명합니다: CPU 사용량 감소 (애플리케이션 워크로드에 자원을 확보하는 것),애플리케이션 성능 향상 (저장 및 AI 워크로드에 최대 2 × 처리량), 그리고 더 낮은 운영 상용 비용 (편의화된 모니터링 및 능동적인 오류 탐지).

이 기술 솔루션에서 얻을 수 있는 주요 교훈은 다음과 같습니다.

• 의MCX4121A-ACAT ConnectX-4 Lx 듀얼 포트 25GbE SFP28미래 안전성 있는 25GbE 접속 경로를 제공하며 10GbE/1GbE의 완전한 하향 호환성을 제공합니다.
• RDMA/RoCEv2 오프로드, PFC/ECN 지원 네트워킹과 결합하여, 스토리지 및 AI 트래픽에 대해 5μs 이하의 지연시간과 거의 0의 CPU 개입을 제공합니다.
• 넓은MCX4121A-ACAT 호환성생태계는 이질적인 서버, 스토리지 및 스위치 환경에서 원활한 통합을 보장합니다.
• 이 솔루션은 작은 파일럿 클러스터에서 대규모 멀티 랙 배포까지 확장되며 기업 데이터 센터와 클라우드 서비스 제공 업체에 적합합니다.

서버 액세스 인프라를 현대화 할 준비가 된 조직의 경우NVIDIA 멜라노크스 MCX4121A-ACAT성능, 효율성 및 운영 단순성에 대한 전략적 투자를 나타냅니다.MCX4121A-ACAT 데이터 시트, 포괄적MCX4121A-ACAT 사양, 그리고MCX4121A-ACAT 판매승인 된 채널을 통해 사용 가능성을 확보하여 평가 및 배포 프로세스를 시작하는 데 필요한 자원을 제공합니다.MCX4121A-ACAT 이더넷 어댑터 카드 솔루션현대 데이터센터 네트워크의 잠재력을 최대한 발휘할 수 있는 검증된 청사진으로 작용합니다.