Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT 서버 어댑터 작동

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT 서버 어댑터 실제 적용 | RDMA/RoCE 저지연 전송 및 서버 처리량 최적화

대규모 인터넷 회사의 탄력적인 베어메탈 및 AI 추론 하이브리드 배포 시나리오에서 네트워크 지연 시간과 CPU 오버헤드는 GPU 활용도 및 스토리지 성능 확장의 중요한 장벽이 되었습니다. 인프라 팀은 기존 케이블링 인프라에 대한 비용이 많이 드는 업그레이드를 강요하지 않으면서도 분산 학습 작업에 대한 마이크로초 미만의 지연 시간을 제공하고 동시에 고처리량 NVMe-oF 스토리지 트래픽을 지원하는 솔루션이 필요했습니다. 이 사례 연구는 Mellanox (NVIDIA Mellanox)의 MCX623106AN-CDAT가 이러한 과제를 어떻게 해결하고 네트워크 패브릭을 진정한 컴퓨팅 가속기로 변환했는지 살펴봅니다.

배경 및 과제: 25G NIC의 한계

프로덕션 환경은 두 개의 가용 영역에 걸쳐 1,200개 이상의 컴퓨팅 노드로 구성되었으며, 온라인 추론 서비스, 오프라인 AI 학습 및 분산 객체 스토리지의 조합으로 실행되었습니다. 기존 25G 이더넷 어댑터는 기본 연결에는 적합했지만 동시 워크로드에서는 어려움을 겪었습니다. 주요 문제점은 다음과 같습니다.

• 높은 CPU 활용도: 소프트웨어 기반 TCP/IP 스택 처리는 피크 I/O 버스트 중에 스토리지 노드의 CPU 코어의 최대 35%를 소비했습니다.
• 일관되지 않은 지연 시간: 분산 올 리듀스 작업의 테일 지연 시간(p99)은 종종 50µs를 초과하여 매개변수 동기화 중에 GPU 활용도를 저하시켰습니다.
• 스토리지 병목 현상: 손실성 이더넷을 통한 NVMe-oF 트래픽은 패킷 손실로 인해 재전송을 유발하여 유효 처리량을 거의 40% 저하시켰습니다.

독점 InfiniBand 및 경쟁 25G NIC를 포함한 여러 대안을 평가한 후, 팀은 하드웨어 기반 RoCEv2 가속, 프로그래밍 가능한 데이터 경로 및 광범위한 플랫폼 호환성의 고유한 조합을 위해 NVIDIA Mellanox MCX623106AN-CDAT를 선택했습니다.

솔루션 및 배포 접근 방식

배포 전략은 세 가지 핵심 요소에 중점을 두었습니다. RDMA/RoCE 활성화, 스마트 오프로드 활성화, 및 점진적인 플릿 마이그레이션입니다. 각 컴퓨팅 노드에는 이전 세대 NIC를 교체하는 MCX623106AN-CDAT 이더넷 어댑터 카드 한 개가 장착되었으며, 기본 25G 구리/광섬유 인프라는 변경되지 않았습니다.

구성 측면에서 팀은 MCX623106AN-CDAT 데이터시트를 활용하여 다음 매개변수를 미세 조정했습니다.

• RoCEv2 PFC(우선 순위 흐름 제어) 설정: 스토리지(NVMe-oF) 및 AI 집합 통신을 위해 전용 무손실 트래픽 클래스가 정의되었으며, 최선 노력 트래픽은 별도의 손실성 큐에 유지되었습니다.
• 하드웨어 오프로드 활성화: VXLAN/NVGRE 터널 오프로드, 체크섬 분할 및 LRO(대형 수신 오프로드)가 활성화되어 패킷당 CPU 개입을 줄였습니다.
• DPU 지원 프로그래밍 가능성: ASAP²를 사용하여 팀은 경량 흐름 규칙을 배포하여 스토리지 트래픽을 NVMe-oF 대상 엔드포인트로 직접 전달하여 커널 네트워크 스택을 완전히 우회했습니다.

호환성 검증은 간단했습니다. MCX623106AN-CDAT 호환 목록은 플릿의 모든 서버 모델(Dell PowerEdge R750 및 Supermicro Ultra 시리즈)을 포함했으며, 기존 Red Hat OpenShift 및 Ubuntu 기반 노드는 새 드라이버를 문제 없이 채택했습니다.

결과 및 측정 가능한 이점

컴퓨팅 플릿의 40%에 걸쳐 3주간의 프로덕션 배포 후 성능 향상이 즉시 나타났습니다. 다음 표는 주요 사전 및 사후 측정 항목을 요약합니다.

정량적 개선 외에도 엔지니어링 팀은 운영 안정성의 질적 변화를 보고했습니다. 하드웨어 기반 PFC 및 ECN(명시적 혼잡 알림) 메커니즘은 스토리지 트래픽이 거의 손실되지 않도록 하여 이전에는 애플리케이션 SLA에 영향을 미쳤던 연쇄 재전송 폭풍을 제거했습니다. 또한 MCX623106AN-CDAT ConnectX 어댑터 PCIe 네트워크 카드는 영역 간 복제 트래픽에 대한 라인 속도 IPSec 암호화를 처리하여 보안 팀이 전용 암호화 어플라이언스를 배포하지 않고도 제로 트러스트 정책을 시행할 수 있도록 했습니다.

요약 및 향후 전망

이 배포는 MCX623106AN-CDAT 이더넷 어댑터 카드 솔루션이 단순한 점진적인 NIC 업그레이드가 아니라 현대 데이터 센터 아키텍처를 위한 전략적 지원자임을 강조합니다. 하드웨어 가속 RoCEv2, 유연한 프로그래밍 가능성 및 포괄적인 오프로드 기능을 결합하여 이 어댑터는 표준 이더넷 패브릭을 저지연, 고효율 인프라 계층으로 효과적으로 변환합니다. IT 조직은 이제 모든 나머지 노드로 배포를 확장할 계획이며 차세대 50G 스파인-리프 설계를 위해 MCX623106AN-CDAT 사양을 적극적으로 평가하고 있습니다.

유사한 성능 한계에 직면한 인프라 아키텍트 및 IT 관리자에게 MCX623106AN-CDAT는 매력적이고 입증된 경로를 제공합니다. 한 수석 아키텍트가 언급했듯이 "이전 25G NIC보다 절반의 CPU 비용으로 더 나은 지연 시간을 달성했으며, 랙을 한 번도 재배선할 필요가 없었습니다." 광범위한 MCX623106AN-CDAT 호환 생태계와 경쟁력 있는 MCX623106AN-CDAT 가격 포지셔닝을 통해 이 어댑터는 워크로드가 AI 학습, 분산 스토리지 또는 실시간 분석인지 여부에 관계없이 25G RoCE 배포의 기본 선택이 될 준비가 되어 있습니다.