Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT 서버 어댑터 기술 백서

이 기술 백서는 네트워크 아키텍트, 사전 판매 엔지니어 및 운영 관리자를 위해 고안되었습니다.멜라녹스 (NVIDIA 멜라녹스) MCX623106AN-CDAT서버 어댑터 및 RDMA / RoCE 기술을 사용하여 낮은 지연, 고 처리량 데이터 센터 네트워크를 구축하는 방법을 보여줍니다.배포 및 확장 전략, 그리고 운영 및 모니터링은 실제 구현에 대한 실행 가능한 지침을 제공합니다.

현대 데이터 센터는 세 가지 핵심 과제에 직면합니다. CPU가 네트워크의 병목이 되는 것, 과도한 스토리지 접근 지연, 분산 애플리케이션에 대한 통제 불가능한 통신 오버헤드.전통적인 TCP/IP 프로토콜 스택은 대용량 병렬 통신 중 프로토콜 처리 및 데이터 복사에 CPU 자원의 30% 이상을 소비합니다.한편, NVMe over Fabrics, 분산 기계 학습 프레임워크 (예를 들어, NCCL) 와 같은 애플리케이션,메모리 데이터베이스의 경우 20 마이크로초 이하의 엔드-투-엔드 지연을 요구합니다.급히 필요한 것은 커널을 우회하고 하드웨어 수준의 트랜스포트 오프로드MCX623106AN-CDATRoCE 기술 솔루션과 결합합니다.

이 솔루션은 두 계층의 Spine-Leaf 토폴로지를 채택합니다. 모든 컴퓨팅 및 스토리지 노드는NVIDIA 멜라녹스 MCX623106AN-CDAT이더넷 어댑터. 잎 스위치는 손실 없는 RoCE 동작을 위해 구성되어 있으며, PFC (위선 흐름 제어) 및 ECN (명확한 혼잡 알림) 를 가능하게 합니다.RoCE 트래픽에 할당된 전용 우선 순위 대기열주요 설계 원칙은 다음과 같습니다:

• 제어계와 데이터계의 분리: RoCE 데이터 흐름은 어댑터에 있는 하드웨어에 의해 완전히 처리되며, 제어 프로토콜 (예: ARP, DHCP) 은 여전히 전통적인 경로를 따르고 있습니다.
• 통일 직물: 이더넷은 표준 TCP/IP 및 RoCE 트래픽을 모두 가지고 있으며, DSCP 마크링을 통해 QoS 격리를 달성합니다.
• 끝에서 끝까지 혼잡 관리: DCQCN 알고리즘을 기반으로, 소스 어댑터와 스위치 사이의 폐쇄 루프 피드백 메커니즘을 구축합니다.

의MCX623106AN-CDAT 이더넷 어댑터 카드각 서버 노드에서 중요한 역할을 합니다. 이중 포트 100GbE 디자인은 리던스를 위해 다른 리프 스위치에 연결하거나 저장 및 컴퓨팅 트래픽 사이의 물리적 격리를 제공할 수 있습니다.

이 솔루션의 핵심 데이터 평면 구성 요소로서,MCX623106AN-CDAT ConnectX 어댑터 PCIe 네트워크 카드다음의 결정적인 역량을 발휘합니다.

• 하드웨어 RoCE 릴로드 엔진: 호스트 CPU 개입 없이 전송 계층 처리 (분할, 재집합, 확인, 재전송) 를 처리합니다.
• 다이내믹 커넥스 (Dynamic ConnectX): 자동으로 멀티 큐 트래픽을 배포하여 멀티 코어 서버의 처리량을 향상시킵니다.
• PCIe 4.0 x16 호스트 인터페이스: 이론적으로 256Gb/s의 대역폭을 가지고 있으며, 라인 속도 전송에 있어서는 구덩이 고리가 없도록 합니다.
• 첨단 저장물 출하: 네임스페이스 검색 및 데이터 무결성 검사 등 NVMe를 위한 하드웨어 가속을 지원합니다.

에 따르면MCX623106AN-CDAT 데이터 시트그리고 공개되어 있습니다.MCX623106AN-CDAT 사양이 어댑터는 600 나노초 이하의 포트-포트 지연을 달성하고 초당 최대 2억 패킷의 패킷 처리 속도를 지원합니다.MCX623106AN-CDAT 가격비교 가능한 100GbE RoCE 어댑터들 사이에서 경쟁력이 높으며,MCX623106AN-CDAT 판매표준 유통 채널을 통해 제공됩니다. 선택 전에 서버 모델이MCX623106AN-CDAT 호환주요 OEM 플랫폼은 모두 검증되었습니다.

전형적인 토폴로지 설명:
2개의 스파인 스위치와 4개의 리프 스위치로 구성된 클로스 아키텍처. 각 서버 노드에는 하나의MCX623106AN-CDAT, 두 개의 100GbE 포트가 두 개의 다른 리프 스위치에 연결됩니다. 리프 업링크 포트는 4: 1 오버 서브스크립션 비율로 스파인즈에 연결됩니다. 전용 VLAN은 RoCE 트래픽에 사용됩니다.

배포 단계:

• 단계 1: 물리적으로 설치MCX623106AN-CDATPCIe 4.0 x16 슬롯에 설치하고 최신 펌웨어와 NVIDIA MLNX_OFED 드라이버를 설치합니다.
• 단계 2: 스위치에서 RoCE 트래픽을 위해 PFC (위선 3 권장) 및 ECN (Kmin/Kmax 설정) 을 구성합니다.
• 단계 3: 운영 체제에서 RoCEv2 모드를 활성화하고 DCQCN 매개 변수를 구성합니다 (초시 값: α=1, β=1, 타이머 기간 100μs).
• 단계 4: 성능 기준을 확인하기 위해 ib_write_bw와 ib_write_lat 도구를 사용하십시오.

스케일링 권고:클러스터가 500 노드를 초과할 때, 어댑터의 흐름 제어 (PPC) 및 QoS 매핑 테이블을 활성화하고, 헤드 오브 라인 차단을 피하기 위해 여러 RoCE 우선 순위를 사용하는 것을 고려하십시오.

운영팀은 다음과 같은 도구를 사용하여MCX623106AN-CDAT 이더넷 어댑터 카드 솔루션:

• mlxconfig / mlxfwmanager: 펌웨어 매개 변수를 구성하고 펌웨어 업그레이드를 관리합니다.
• 에스툴 -S: RoCE 송신/ 수신 카운터와 PFC 중지 프레임 수를 참조하십시오.
• 이브디아그네트: 불필요한 PFC 폭풍을 탐지하기 위해 RoCE 네트워크의 포괄적 진단 수행.
• 텔레미터 및 HIST: 꼬리 지연 이상을 식별하기 위해 어댑터에 내장된 역사 지연 분배 테이블을 사용하십시오.

일반적인 문제 해결:

• 예상 이하의 처리량: PCIe 협상 상태를 확인 (Gen4 x16가어야 합니다.) 그리고 MTU가 9000 덤보 프레임으로 균일하게 설정되어 있는지 확인합니다.
• RoCE 연결 실패: DSCP 매핑 및 VLAN 구성을 확인하고 스위치가 RoCE로 표시된 패킷을 떨어뜨리지 않는지 확인합니다.
• 높은 CPU 사용량: 이것은 하드웨어 오프로드가 활성화되어 있지 않다는 것을 나타낼 수 있습니다. ethtool 오프로드 설정을 확인하십시오.

최적화 권장 사항:매우 지연 민감한 애플리케이션 (예를 들어, 고주파 트레이딩, RDMA 로그 복제)RoCE 서비스 유형을 "연결"에서 "데이타그램"으로 변경하고 혼잡 제어 기능을 비활성화하는 것을 고려합니다..

RDMA/RoCE 솔루션은MCX623106AN-CDAT기존의 이더넷 인프라를 대체하지 않고 분산 애플리케이션의 끝에서 끝까지의 대기 시간을 대량 순서 (백 미터초에서 수십 미터초까지) 로 줄여줍니다.동시에 CPU 컴퓨팅 리소스의 20~30%를 자유롭게. 인공지능 훈련, 하이퍼 컨버전드 스토리지 및 실시간 분석과 같은 시나리오에서 이것은 직접적으로 작업 완료 시간이 짧고 서버 밀도가 높습니다.MCX623106AN-CDAT 이더넷 어댑터 카드 솔루션, 그것은 "손실없는 이더넷 + 스마트 NIC"가 높은 처리량과 낮은 지연을 동시에 달성하는 실행 가능한 경로임을 보여줍니다.MCX623106AN-CDAT 데이터 시트, 공식 NVIDIA 문서를 참조하거나 솔루션 아키텍처 팀에 문의하십시오.