NVIDIA 멜라녹스 MCX653106A-HDAT 서버 어댑터 기술 백서

이 기술 백서(Technical White Paper)는 네트워크 아키텍트, 사전 영업 엔지니어 및 운영 관리자를 대상으로 합니다. 이 백서는 RDMA/RoCE 전송 및 측정 가능한 서버 처리량 증가에 중점을 두고 NVIDIA Mellanox MCX653106A-HDAT 서버 NIC를 사용하여 고성능, 저지연 데이터 센터 네트워크를 설계하고 배포하기 위한 포괄적인 참조 자료를 제공합니다.NVMe-oF 스토리지 패브릭, 분산 AI 학습, 고빈도 거래 및 실시간 분석을 포함한 최신 데이터 센터 워크로드는 네트워크 인프라에 극심한 요구를 가합니다. 기존 TCP/IP 스택 처리는 세 가지 근본적인 병목 현상을 유발합니다. 높은 CPU 오버헤드(종종 코어 사이클의 50% 초과), 커널 바이패스 제한으로 인한 가변 지연, 프로토콜 처리 오버헤드로 인한 유효 처리량 감소입니다. 조직은 CPU 리소스를 애플리케이션 로직에 할애하면서 라인 속도 대역폭과 마이크로초 미만의 지연을 제공하는 솔루션을 요구합니다. 주요 요구 사항에는 하드웨어 오프로드 RDMA, 손실 없는 RoCE 전송, 기존 이더넷 패브릭과의 원활한 통합, 모니터링 및 문제 해결을 위한 포괄적인 운영 도구가 포함됩니다.

제안된 아키텍처는 RoCE 전송에 최적화된 2계층 Clos(스파인-리프) 토폴로지를 채택합니다. 리프 스위치는 DCB(우선 순위 흐름 제어, 향상된 전송 선택)를 구성하여 서버 연결을 제공하며, RDMA 트래픽에 대해 손실 없는 동작을 보장합니다. 스파인 스위치는 패브릭 전반에 걸쳐 비차단적인 모든-대-모든 통신을 가능하게 합니다. 각 컴퓨팅 및 스토리지 노드는 MCX653106A-HDAT 이더넷 어댑터 카드(Ethernet adapter card)를 통합하며, 이는 활성-활성 본딩으로 구성된 듀얼 100GbE 포트를 통해 리프 스위치에 연결됩니다. 이 아키텍처는 RDMA 트래픽(PFC가 활성화된 전용 우선 순위 큐)을 일반 TCP/IP 트래픽(최선 노력 큐)과 분리하여 중요 흐름에 대한 결정론적 저지연을 보장합니다. VLAN 세분화는 RDMA 도메인을 격리하는 동시에 라우팅은 필요한 경우 서브넷 간 통신을 처리합니다.

MCX653106A-HDAT ConnectX 어댑터 PCIe 네트워크 카드(ConnectX adapter PCIe network card)는 이 솔루션의 기반 역할을 합니다. PCIe 4.0 x16 호스트 인터페이스를 갖춘 ConnectX-6 아키텍처를 기반으로 구축되어 RDMA 워크로드에서 마이크로초 600ns 미만의 지연으로 듀얼 포트 100GbE(또는 단일 포트 200GbE) 처리량을 제공합니다. 이 설계에서 활용되는 주요 기능은 다음과 같습니다:용량 계획: RDMA 동사의 전체 오프로드로 데이터 이동에 대한 호스트 CPU 개입을 제거합니다. RoCE v1 및 v2를 모두 지원합니다.

프로그래밍 가능한 데이터 경로(ASAP²): 유연한 패킷 처리 및 오버레이 네트워크(VXLAN, GENEVE)의 오프로드를 가능하게 합니다.

• 멀티 호스트 및 GPU Direct RDMA: CPU 개입 없이 노드 간 GPU 간 직접 피어 투 피어 통신으로 AI 클러스터에 중요합니다.
• 원격 측정 및 혼잡 제어: 하드웨어 기반 흐름 모니터링, ECN 마킹 및 동적 속도 제한입니다.
• MCX653106A-HDAT 데이터시트(datasheet)를 검토하는 엔지니어는 표준 및 OCP 3.0 폼 팩터 모두에 대한 지원, 포괄적인 운영 체제 지원(MLNX_OFED가 포함된 Linux 배포판, Windows, ESXi) 및 광범위한 서버 호환성을 주목할 것입니다. MCX653106A-HDAT 사양(specifications)은 또한 최대 75W의 전력 소비와 0°C ~ 55°C의 작동 온도를 확인하며, 이는 고밀도 배포에 적합합니다.4. 배포 및 확장 권장 사항(토폴로지 포함)
• 배포는 단계적 접근 방식을 따릅니다. 일반적인 2랙 파일럿 토폴로지는 다음과 같습니다:구성 요소
• 구성수량

컴퓨팅/스토리지 노드16MCX653106A-HDAT (듀얼 포트 100GbE)

리프 스위치

16개 노드 이상으로 확장하려면 이중화된 스파인 스위치를 지원하는 스파인-리프 토폴로지로 전환하여 최대 128개 노드를 지원합니다. MCX653106A-HDAT 이더넷 어댑터 카드 솔루션(Ethernet adapter card solution)은 RoCE가 여러 경로에 걸쳐 로드 분산을 위해 ECMP를 사용하므로 패브릭 재구성 없이 선형적으로 확장됩니다.

1. 5. 운영, 모니터링, 문제 해결 및 최적화RDMA/RoCE 환경의 효과적인 운영에는 전문 도구가 필요합니다. 다음 관행을 권장합니다:혼잡 감지: 스위치 원격 측정(예: Mellanox SHARP)을 사용하여 포트당 PFC 일시 중지 프레임을 모니터링합니다. 일시 중지율이 높아지면 흐름 제어 튜닝이 필요한 incast 또는 마이크로 버스트를 나타냅니다.효율성:
2. ECN 및 DCQCN 튜닝: 스위치에서 명시적 혼잡 알림(ECN)을 활성화하고 MCX653106A-HDAT 드라이버에서 동적 혼잡 제어(DCQCN) 매개변수를 구성합니다(예: dcqcn_r_ai=40, dcqcn_r_hai=10).
3. 로그 분석: RDMA 연결 실패(예: “mlx5_core: failed to create QP”)에 대해 /var/log/messages를 검토합니다. 엔드포인트 간에 GID 인덱스가 일치하는지 확인합니다.
4. 펌웨어 업데이트: mlnxfwmanager를 통해 NIC 펌웨어를 정기적으로 업데이트합니다. MCX653106A-HDAT 사양(specifications)은 최적의 RoCE 성능을 위해 펌웨어 기준선 xx.36.1010 이상을 권장합니다.용량 계획: MCX653106A-HDAT 가격(price) 및 MCX653106A-HDAT 판매(for sale) 물량 할인을 예상하는 조직의 경우 RDMA 트래픽에 대한 프로젝트 성장률을 계획하고 리프 스위치 오버서브스크립션 비율(스토리지 패브릭의 경우 일반적으로 3:1)을 계획합니다.
5. 일반적인 문제 해결 시나리오: 한 방향으로 높은 지연 시간과 제로 패킷 손실은 종종 잘못 구성된 ECN 임계값 또는 비대칭 PFC 설정을 나타냅니다. 모든 네트워크 요소에서 신뢰 모드 및 DSCP-우선 순위 매핑을 확인하기 위해 mlnx_qos를 사용합니다.6. 요약 및 가치 평가NVIDIA Mellanox MCX653106A-HDAT 서버 NIC는 고성능 RDMA/RoCE 네트워크를 배포하기 위한 프로덕션 준비 기반을 제공합니다. 이 기술 솔루션은 여러 차원에서 정량화 가능한 가치를 제공합니다: 어댑터당 최대 200Gb/s 처리량과 마이크로초 미만의 지연 시간으로, TCP 오버헤드로 인해 제한되었던 스케일 아웃 스토리지 및 분산 컴퓨팅 워크로드를 가능하게 합니다.효율성:

하드웨어 오프로드는 네트워크 관련 CPU 소비를 50% 미만에서 15% 미만으로 줄여 애플리케이션 처리를 위해 코어를 확보합니다. MCX653106A-HDAT 이더넷 어댑터 카드 솔루션(Ethernet adapter card solution)은 주어진 처리량 목표에 필요한 노드 수를 줄여 자본 및 운영 비용을 절감합니다. MCX653106A-HDAT 가격(price)을 평가할 때 효율성 증가만으로 9~12개월의 투자 회수 기간을 고려하십시오.

PCIe 5.0 지원(하위 호환) 및 DOCA를 통한 프로그래밍 가능성은 데이터 센터 속도가 200/400GbE로 이동함에 따라 투자 보호를 보장합니다.

• 프로덕션 테스트를 거친 설계 패턴을 찾는 아키텍트를 위해 이 솔루션은 기존 이더넷 운영과 원활하게 통합되는 동시에 RDMA의 잠재력을 최대한 발휘합니다. 자세한 기계 도면, 타이밍 다이어그램 및 고급 기능 설명을 보려면 MCX653106A-HDAT 데이터시트(datasheet)를 참조하십시오. 현재 MCX653106A-HDAT 가격(price) 및 MCX653106A-HDAT 판매(for sale) 리드 타임을 포함한 조달 지침은 공인 NVIDIA Mellanox 유통 파트너에게 문의하십시오.