Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT 서버 어댑터 실제 작동 모습 | RDMA/RoCE 저지연 전송 및 서버

멜라녹스 (NVIDIA 멜라녹스) MCX623106AN-CDAT 서버 어댑터 작동중입니다.

대규모 인터넷 회사의 탄력적인 맨 금속과 인공지능 추론 하이브리드 배포 시나리오에서네트워크 지연과 CPU 오버헤드는 GPU 사용량 및 저장 성능을 확장하는 데 중요한 장벽이되었습니다.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructure이 사례 연구는MCX623106AN-CDAT멜라노크스 (NVIDIA Mellanox) 에서 이러한 과제를 해결하고 네트워크 조직을 진정한 컴퓨팅 가속기로 전환했습니다.

배경과 도전: 25G NIC가 한계를 달성했을 때

생산 환경은 2개의 가용성 구역에 분산된 1,200개 이상의 컴퓨팅 노드들로 구성되어 있으며, 온라인 추론 서비스, 오프라인 인공지능 훈련 및 분산 객체 저장의 혼합을 실행하고 있습니다.기존 25G 이더넷 어댑터, 기본 연결에 적합하지만 동시에 작업 부하에서 어려움을 겪었습니다. 주요 고통점은 다음과 같습니다.

• 높은 CPU 사용량: 소프트웨어 기반의 TCP/IP 스택 프로세싱은 최고 I/O 폭발 때 저장 노드에서 CPU 코어의 35%까지 소비됩니다.
• 일관성 없는 대기 시간: 분산된 모든 감소 작업에 대한 꼬리 지연 (p99) 은 50μs를 초과하여 매개 변수 동기화 중에 GPU의 사용 부족을 유발합니다.
• 저장 병목: NVMe-oF 트래픽은 패스 이더넷을 통해 패트 드롭에 시달렸고, 이는 사실상 처리량을 거의 40% 감소시키는 재 전송을 유발했습니다.

다수의 대안을 평가한 후 독점 인피니밴드와 경쟁하는 25G NIC를 포함하여 팀은NVIDIA 멜라녹스 MCX623106AN-CDAT하드웨어 기반의 RoCEv2 가속, 프로그래밍 가능한 데이터 경로, 그리고 광범위한 플랫폼 호환성

솔루션 및 배포 접근 방식

배포 전략은 세 가지 기둥에 초점을 맞췄습니다.RDMA/RoCE 활성화,스마트 하차 활성화, 그리고점차적인 함대 이동. 각 컴퓨팅 노드는 하나를 받았습니다MCX623106AN-CDAT 이더넷 어댑터 카드, 이전 세대 NIC를 대체하면서 기본 25G 구리/섬유 인프라를 변경하지 않습니다.

구성 관점에서, 팀은MCX623106AN-CDAT 데이터 시트다음의 매개 변수를 정밀 조정합니다.

• RoCEv2 PFC (위선 흐름 제어) 설정: 저장 (NVMe-oF) 및 AI 집단 통신에 대한 전용 손실 없는 트래픽 클래스가 정의되었으며, 최대의 노력 트래픽은 별도의 손실 큐에 남아있었습니다.
• 하드웨어 하하트도 허용: VXLAN/NVGRE 터널 오프로드, 체크섬 세그먼테이션, LRO (Large Receive Offload) 는 패킷 당 CPU 개입을 줄이기 위해 활성화되었습니다.
• DPU 준비 프로그램 가능성: ASAP2를 사용하여 팀은 가벼운 흐름 규칙을 배포하여 커널 네트워크 스택을 완전히 우회하여 저장 트래픽을 NVMe-oF 목표 엔드 포인트로 직접 유도했습니다.

호환성 검증은 간단했습니다MCX623106AN-CDAT 호환이 목록은 함대 내의 모든 서버 모델 (델 파워 에지 R750 및 수퍼마이크로 울트라 시리즈) 를 포함했으며 기존 레드햇 오픈 시프트 및 우분투 기반 노드는 새로운 드라이버를 문제없이 채택했습니다.

결과 와 측정 할 수 있는 유익

컴퓨팅 플래트의 40%에 걸쳐 생산 배치 된 3 주 후 성능 향상은 즉시 눈에 띄었습니다. 다음 표는 주요 전후 메트릭을 요약합니다.

수량적 개선 외에도 엔지니어링 팀은 운영 안정성에서 질적 변화를보고했습니다.하드웨어 기반의 PFC 및 ECN (명확한 혼잡 통지) 메커니즘은 저장 트래픽이 사실상 손실 없이 유지되도록 보장했습니다., 이전에는 응용 프로그램 SLA에 영향을 미치는 재방송 폭풍을 제거합니다.MCX623106AN-CDAT ConnectX 어댑터 PCIe 네트워크 카드횡단 영역 복제 트래픽을 위한 직선 속도 IPSec 암호화 처리, 보안 팀이 전용 암호화 장치를 배포하지 않고도 신뢰도 제로 정책을 적용할 수 있도록 합니다.

요약 & 미래 전망

이 배포는MCX623106AN-CDAT 이더넷 어댑터 카드 솔루션단순히 NIC 업그레이드 뿐만 아니라 현대 데이터 센터 아키텍처의 전략적 지원자입니다. 하드웨어 가속 RoCEv2를 결합하여 유연한 프로그래밍 가능성,그리고 포괄적 인 릴로드 기능, 어댑터는 표준 이더넷 패브릭을 낮은 지연, 고효율의 인프라 레이어로 효과적으로 변환합니다.IT 조직은 이제 나머지 모든 노드까지 배포를 확장 할 계획이며MCX623106AN-CDAT 사양다음 세대의 50G Spine-Leaf 설계에 대한 것입니다.

비슷한 성능 최고수준에 직면한 인프라 아키텍트와 IT 관리자에게는MCX623106AN-CDAT한 고위 건축가가 언급했듯이:"우리는 이전 25G NIC보다 절반의 CPU 비용으로 더 나은 대기 시간을 달성했고, 우리는 하나의 랙을 재 케이블 할 필요가 없었습니다".그 여자랑MCX623106AN-CDAT 호환생태계 및 경쟁력MCX623106AN-CDAT 가격이 어댑터는 인공지능 훈련, 분산 저장장치 또는 실시간 분석과 같은 작업 부하에 관계없이 25G RoCE 배포에 기본 선택이 될 수 있습니다.

태그:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx RDMA/RoCE 배포 낮은 지연 네트워크 서버 처리량 최적화