멜라녹스 (NVIDIA 멜라녹스) MCX556A-ECAT 서버 NIC 기술 솔루션

이 백서는 네트워크 설계자, 사전 판매 엔지니어 및 운영 리더에게 배포를 위한 포괄적인 기술 프레임워크를 제공합니다.멜라녹스(NVIDIA Mellanox) MCX556A-ECAT서버 네트워크 어댑터. 이 솔루션은 RDMA/RoCE를 통해 TCP/IP 병목 현상을 제거하고 지연 시간이 짧은 결정적인 통신을 제공하는 동시에 데이터 집약적인 워크로드에 대한 서버 처리량을 극대화하는 데 중점을 둡니다.

1. 프로젝트 배경 및 요구사항 분석

AI 훈련 클러스터, 분산 데이터베이스, 하이퍼컨버지드 인프라, 초단타 거래 플랫폼을 포함한 최신 데이터 센터 환경은 공통 제약을 공유합니다. 즉, 기존 네트워크 스택은 메모리 복사, 컨텍스트 전환 및 프로토콜 처리에 CPU 주기의 30~50%를 소비합니다. 링크 속도가 100Gbps 이상으로 올라가면 소프트웨어 기반 네트워킹은 지속 불가능해집니다. 차세대 서버 연결을 위한 주요 요구 사항에는 5마이크로초 미만의 노드 간 대기 시간, 100Gbps 링크당 10% 미만의 CPU 오버헤드, 스토리지 프로토콜(NVMe-oF)을 위한 무손실 전송 및 기존 이더넷 인프라와의 원활한 통합이 포함됩니다. 그만큼MCX556A-ECAT 이더넷 어댑터 카드 솔루션이러한 요구를 직접적으로 해결합니다.

2. 전체 네트워크/시스템 아키텍처 설계

권장 아키텍처는NVIDIA Mellanox MCX556A-ECAT각 컴퓨팅 또는 스토리지 노드에서 듀얼 포트 100GbE 어댑터로 사용됩니다. 이 솔루션은 RoCE(RDMA over Converged Ethernet)를 지원하는 2계층 리프-스파인 토폴로지를 채택합니다. 주요 아키텍처 결정은 다음과 같습니다.

• 무손실 이더넷 기반: RoCE 트래픽을 전달하는 포트에서 PFC(우선순위 흐름 제어)를 활성화하고 리프 스위치에서 ECN(명시적 혼잡 알림) 임계값을 구성합니다.
• 별도의 트래픽 클래스: 엄격한 우선순위 예약을 통해 RoCE 트래픽을 전용 우선순위 대기열(일반적으로 3 또는 5)에 할당합니다.
• 버퍼 관리: 다음에 따라 스위치에 공유 버퍼 풀을 할당합니다.MCX556A-ECAT 사양(무손실 작동을 위해 포트당 4MB 권장)

각MCX556A-ECAT ConnectX 어댑터 PCIe 네트워크 카드QSFP28 광학 장치(거리에 따라 SR4, LR4 또는 AOC/DAC)를 통해 리프 스위치에 연결됩니다. 고가용성을 위해 듀얼 호밍 구성은 두 포트(처리량을 위한 활성-활성 또는 장애 조치를 위한 활성-대기)를 결합합니다. 컨트롤 플레인은 표준 이더넷과 IP를 사용하는 반면, 데이터 플레인은 제로 카피 전송을 위해 RDMA를 활용합니다.

3. 솔루션 내 Mellanox(NVIDIA Mellanox) MCX556A-ECAT의 역할 및 주요 특징

그만큼MCX556A-ECAT서버 메모리와 네트워크 패브릭 사이에서 중요한 오프로드 엔진 역할을 합니다. 하드웨어 기반 전송을 통해 데이터 이동에 대한 커널 개입이 제거됩니다. 에서 추출한 주요 역량MCX556A-ECAT 데이터시트포함하다:

그만큼MCX556A-ECAT 이더넷 어댑터 카드또한 고급 조정(128개의 가상 대기열로 흐름 분류), 최대 512개의 가상 기능을 갖춘 SR-IOV 및 정밀 시간 프로토콜(PTP)을 위한 하드웨어 타이머 오프로드도 포함됩니다. 이러한 기능을 통해 단순한 고속 인터페이스가 아닌 완전한 데이터 경로 가속 엔진이 됩니다.

4. 배포 및 확장 권장 사항(일반적인 토폴로지)

중간 규모 클러스터(64~256개 노드)의 경우 다음 토폴로지가 권장됩니다.

• 잎층: 2개 또는 4개의 48포트 100GbE RoCE 스위치(예: NVIDIA SN3700). 각 리프는 24~48개의 서버에 연결됩니다.MCX556A-ECAT 호환QSFP28 포트.
• 척추층: 리프에서 128개의 비차단 100GbE 업링크를 제공하는 4개의 32포트 400GbE 스위치.
• 서버 구성: 하나MCX556A-ECAT서버당, 포트 A에서 리프 스위치 A로, 포트 B에서 리프 스위치 B로. 이는 200Gbps의 총 대역폭과 경로 중복성을 제공합니다.

256개 노드 이상으로 패브릭을 확장하려면 리프-스파인 쌍을 추가하거나 3단계 Clos 아키텍처로 마이그레이션해야 합니다. 평가할 때MCX556A-ECAT 가격향후 용량 대비 어댑터가MCX556A-ECAT 호환PCIe 4.0 마더보드(초기에는 3.0 x16에서 실행)를 사용하여 간단한 업그레이드 경로를 제공합니다.

5. 운영, 모니터링, 문제 해결 및 최적화

RoCE 배포를 위한 운영 우수성을 위해서는 특정 모니터링 및 조정이 필요합니다. 주요 사례는 다음과 같습니다.

• 모니터링 카운터: 사용ethtool -S ethX | grep -E "roce|pfc|ecn"우선순위 일시정지 프레임 및 CNP(혼잡 알림 패킷)를 추적합니다. 그만큼MCX556A-ECAT 사양예상 기준값을 문서화합니다.
• 버퍼 튜닝: RoCE 대기열에 대해 스위치 송신 버퍼를 4~6MB로 구성합니다. 버퍼가 부족하면 PFC 폭풍이 발생하고 처리량이 붕괴됩니다.
• 펌웨어 관리: 최신 펌웨어(NVIDIA 기업 지원 포털에서 사용 가능)를 유지 관리하여 오류를 해결하고 성능 향상을 얻으세요.MCX556A-ECAT 데이터시트.
• 성능 기준: 달리다ib_write_bw그리고ib_read_latOFED 툴킷에서. 예상 결과: 8바이트 메시지의 경우 0.8~1.2μs 대기 시간의 98~99Gbps ​​양방향입니다.

일반적인 문제 해결 시나리오: PFC 교착 상태(잘못 구성된 대기열 매핑 확인), 링크 플래핑(전원 및 케이블 등급 확인), RDMA 연결 시간 초과(점보 프레임의 경우 4200바이트에서 MTU 일관성 보장). 검색하는 팀의 경우MCX556A-ECAT 판매용클러스터를 확장하기 위해 배치 전반에 걸쳐 사전 스테이징 펌웨어 정렬을 통해 호환성 문제를 방지합니다.

6. 요약 및 가치 평가

그만큼MCX556A-ECAT현대 데이터 센터에 대한 명확한 가치 제안을 제공합니다. RDMA/RoCE를 활성화하면NVIDIA Mellanox MCX556A-ECATTCP에 비해 애플리케이션 대기 시간을 10배 줄이고, CPU 네트워킹 오버헤드를 85% 줄이며, NVMe-oF를 통해 스토리지 분리를 잠금 해제합니다. 설계자에게는 카드의 듀얼 포트 100GbE 용량이 미래의 여유 공간을 제공합니다. 운영 팀의 경우 성숙한 드라이버 스택(업스트림 Linux, Windows 및 VMware)이 관리를 단순화합니다. 평가할 때MCX556A-ECAT 가격소프트웨어 라이센스, 전력, 냉각을 포함한 총 소유 비용에 비해 어댑터는 일반적으로 서버 통합을 통해 6~12개월 내에 투자 비용을 회수합니다. 로 참조되는지 여부MCX556A-ECAT 이더넷 어댑터 카드또는MCX556A-ECAT ConnectX 어댑터 PCIe 네트워크 카드, 이 솔루션은 무손실, 높은 처리량의 이더넷 네트워킹을 위한 참조 설계로 남아 있습니다.