NVIDIA Mellanox MCX556A-ECAT 기술 솔루션: 저지연 전송 및 서버 처리량 최적화를 위한 RDMA/RoCE

이 기술 백서는 네트워크 아키텍트, 사전 판매 엔지니어 및 운영 관리자를 대상으로합니다.NVIDIA 멜라노크스 MCX556A-ECAT서버 어댑터이며 RDMA 및 RoCE 기술을 사용하여 고성능, 낮은 지연 시간 데이터 센터 네트워크를 구축하기위한 체계적인 프레임워크를 제공합니다.

현대 데이터 센터 작업 부하는 분산 스토리지 (Ceph, Lustre), 메모리 내 데이터베이스 (Redis, Aerospike) 및 AI 교육 프레임워크를 포함하여 높은 처리량과 밀리초 이하의 대기 시간을 모두 요구합니다.전통적인 TCP/IP 스택은 상당한 CPU 오버헤드를 도입합니다., 컨텍스트 스위칭 및 데이터 복사, 네트워크 속도가 100Gb/s 이상으로 증가함에 따라 병목이됩니다. 다음 세대의 인프라에 대한 주요 요구 사항은 다음과 같습니다.CPU 오프로드 (호스트 프로세서 사용량을 감소), 극히 낮고 예측 가능한 대기 시간 (특히 꼬리 대기 시간), 저장 프로토콜 (NVMe-oF, iSER) 의 손실 없는 전송 및 기존 이더넷 인프라와 원활한 통합.MCX556A-ECAT이러한 요구사항들을 직접적으로 다루고 있습니다.

권장된 아키텍처는 RoCE (RDMA over Converged Ethernet) 트랜스포트를 위해 구성된 손실 없는 이더넷을 가진 2단계 잎 척추 토폴로지를 채택합니다.모든 컴퓨팅 및 저장 노드는MCX556A-ECAT 이더넷 어댑터 카드, 100GbE QSFP28 링크를 통해 잎 스위치에 연결됩니다. 척추 스위치는 누적 잎 계층 트래픽을 제공하여 차단되지 않는 코어 대역폭을 제공합니다. 주요 건축 원칙에는 다음이 포함됩니다:

• 제어계와 데이터계의 분리:RoCEv2는 RDMA를 UDP/IP로 캡슐화하여 레이어 3의 경계를 넘어서 로팅을 허용한다.
• 우선순위 흐름 제어 (PFC):RDMA 트래픽 클래스의 손실 없는 동작을 가능하게 합니다.
• 강화된 전송 선택 (ETS):지연 민감한 흐름에 대 한 대역폭을 보장 합니다.
• 혼잡 통지:DCQCN (데이터 센터 정량화 혼잡 알림) 를 사용하여 끝에서 끝까지 흐름 제어.

이 아키텍처는 Bare-metal 및 가상화된 환경을 지원하며 SR-IOV는 가상 기능을 VM에 직접 전달합니다.

그 결과MCX556A-ECAT ConnectX 어댑터 PCIe 네트워크 카드, 이 어댑터는 솔루션의 초석으로 작용합니다. 하드웨어 기반의 오프로드 엔진은 커널을 우회하여 직접 메모리-메모리 데이터 전송을 가능하게합니다.

연구팀은MCX556A-ECAT 데이터 시트그리고MCX556A-ECAT 사양, 어댑터가 PCIe 3.0 및 4.0 (x16) 를 모두 지원하여 다음 세대 플랫폼으로 마이그레이션 경로를 제공하면서 기존 서버와 후향 호환성을 보장합니다.

중간 크기의 클러스터 (최고 200 노드) 에 대한 참조 배포는 아래에 설명됩니다.MCX556A-ECAT각 서버의 PCIe 슬롯에 설치되어 있고, 리던스 및 대역폭 집합을 위한 듀얼 포트 연결을 갖습니다.

• 물리적 토폴로지:두 개의 척추 스위치, 네 개의 잎 스위치. 각 잎은 모든 척추와 연결된다. 각 서버는 두 개의 잎과 연결된다.
• RoCE 구성:RoCE 트래픽을 위한 전용 VLAN. DSCP 기반의 QoS 표시 (예: RDMA를 위한 DSCP 46). 우선순위 3에서 PFC가 활성화된다.
• 버퍼 관리:손실 없는 헤드룸 버퍼를 포트별로 설정합니다.
• 주소:RDMA 인터페이스에 대해 정적 IP 할당 또는 DHCP 예약을 사용하십시오. 끝에서 끝까지 대용량 프레임 (MTU 9000) 을 보장하십시오.

200 노드 이상 확장: 슈퍼 척추 계층을 도입하고 여러 포드에서 계층 2 확장을위한 BGP-EVPN을 배포합니다. 확인MCX556A-ECAT 호환성양성 공급자 (예를 들어, Mellanox, FS.com) 의 광학 및 케이블을 평가 할 때MCX556A-ECAT 가격대용량 조달의 경우 스위치와 광학과 함께 패키지 가격을 고려해야 합니다.

RoCE 기반의 직물의 효과적인 작동은 능동적 인 모니터링과 전문 도구가 필요합니다.

• 성능 모니터링:사용mlxlink그리고에트툴링크 통계 (BER, FEC 오류)MCX556A-ECAT 이더넷 어댑터 카드 솔루션PCM (Performance Counters Monitor) 를 통한 텔레메트리를 포함합니다.
• 혼잡 감지:스위치 텔레메트리 (예를 들어, Mellanox SNMP MIBs) 를 사용하여 ECN로 표시된 패킷과 PFC 중지 프레임을 모니터링합니다. 높은 중지 프레임 속도는 버퍼 압력을 나타냅니다.
• 펌웨어 및 드라이버 관리:NVIDIA OFED의 최신 버전으로 정기적으로 업데이트. 사용mstflint펌웨어 검증
• 일반적인 문제 해결:RDMA 연결 고장 경우, MTU 일관성, VLAN 멤버십 및 DSCP-to-CoS 매핑을 확인합니다.ibdev2netdev그리고rdma 링크 쇼장치 상태를 확인하기 위해
• 최적화 팁:작업 부하에 따라 DCQCN 매개 변수 (알파, 베타, 속도 증가 타이머) 를 조정합니다. 저장 작업 부하에 대해서는 완료 대기열 깊이를 증가하십시오. 인공지능 훈련에 대해서는 GPUDirect RDMA 및 핀 메모리를 활성화하십시오.

용량 계획에 대해서는MCX556A-ECAT 데이터 시트열 및 전력 사양 (일반적으로 15W). 어댑터는 광범위하게MCX556A-ECAT 판매허가된 유통업체를 통해, 예비 주머니 프로그램까지요.

의MCX556A-ECAT세 가지 차원에서 측정 가능한 값을 제공합니다.성능(이용 지연시간을 90%까지 줄이고 처리량 4배 증가)효율성(CPU 전하의 70%, Gb/s 당 낮은 전력) 및전체 소유비용통합된 인프라, 서버 수 감소, 냉각 비용 감소.NVIDIA 멜라노크스 MCX556A-ECATRoCE 기반 솔루션의 일부로 작업량 강도에 따라 6~12개월 이내에 ROI를 기대할 수 있습니다. AI, HPC 또는 소프트웨어 정의 스토리지를 포용하는 차세대 데이터 센터의 경우,이 어댑터는 검증된, 확장 가능한 재단MCX556A-ECAT 데이터 시트그리고 검증MCX556A-ECAT 호환성스위치 공급자와의 구성.