NVIDIA Mellanox MCX631102AN-ADAT: RDMA/RoCE 낮은 지연 전송 및 서버 처리량 최적화

NVIDIA Mellanox MCX631102AN-ADAT 활용: RDMA/RoCE 저지연 전송 및 서버 처리량 최적화

배경 및 과제: 분산 스토리지의 지연 시간 및 처리량 병목 현상

중소 규모 클라우드 서비스 제공업체는 120개의 x86 서버에 걸쳐 분산 Ceph 스토리지 클러스터를 운영하면서 성능 문제가 escalating되는 것을 경험하기 시작했습니다. 노드 간 통신에 TCP/IP를 사용하는 기존 10GbE 네트워크 인프라는 NVMe 기반 스토리지 풀의 증가 속도를 따라잡기 위해 고군분투하고 있었습니다. 주요 증상으로는 네트워크 프로토콜 처리로 인한 스토리지 노드의 45%를 초과하는 높은 CPU 사용률, 피크 시간 동안 3밀리초 이상의 평균 읽기/쓰기 지연 시간 급증, 이론적인 디스크 처리량과 실제 네트워크 전송 성능 간의 상당한 격차 등이 있었습니다. 엔지니어링 팀은 서브 밀리초 지연 시간을 달성하고 NVMe 성능을 완전히 발휘하려면 네트워킹 접근 방식의 근본적인 변화, 특히 RDMA over Converged Ethernet(RoCE)의 채택이 필요하다는 것을 인식했습니다.

솔루션 및 배포: MCX631102AN-ADAT 이더넷 어댑터 카드 솔루션 소개

여러 공급업체 옵션을 평가한 후 팀은 네트워크 업그레이드의 핵심 인에이블러로 가 단순한 대역폭 업그레이드 이상임을 보여줍니다. RoCE 지원 환경을 위한 목적별 를 선택했습니다. MCX631102AN-ADAT ConnectX-6 Lx 듀얼 포트 25GbE SFP28 어댑터는 네이티브 RoCEv2 지원, 하드웨어 기반 혼잡 제어, 기존 SFP28 케이블링 인프라와의 원활한 통합으로 인해 선택되었습니다.

배포 전략은 세 가지 클러스터에 걸쳐 단계적으로 진행되었습니다:

• 1단계(파일럿): 16개의 스토리지 노드에 MCX631102AN-ADAT 이더넷 어댑터 카드가 장착되어 레거시 10GbE NIC를 대체했습니다. 어댑터는 듀얼 포트 액티브-액티브 모드로 구성되었으며 각 포트는 이중화를 위해 NVIDIA Spectrum 스위치 쌍에 연결되었습니다.
• 2단계(최적화): RoCEv2가 활성화되었으며 Priority Flow Control(PFC) 및 Explicit Congestion Notification(ECN)이 네트워크 드롭을 방지하도록 조정되었습니다. 팀은 NVMe-oF 및 삭제 코딩 계산을 위해 어댑터의 하드웨어 오프로드 엔진을 활용했습니다.
• 3단계(전체 롤아웃): 모든 120개 노드가 가 단순한 대역폭 업그레이드 이상임을 보여줍니다. RoCE 지원 환경을 위한 목적별 로 마이그레이션되었으며 Ceph OSD(Object Storage Daemon) 네트워킹 스택이 RDMA 전송을 사용하도록 재구성되었습니다.

MCX631102AN-ADAT 데이터시트에 자세히 설명됨 — 은 네트워크 상태에 대한 깊은 가시성을 제공하여 사전 예방적 혼잡 관리 및 사고 해결 중 빠른 근본 원인 분석을 가능하게 했습니다.MCX631102AN-ADAT 사양 — 서브-0.6 마이크로초 지연 시간 및 하드웨어 기반 트래픽 스티어링 포함 — 이 엄격한 성능 요구 사항과 완벽하게 일치함을 확인했습니다. 또한 이 어댑터는 기존 Linux 배포판(RHEL 9.2) 및 Mellanox OFED 드라이버와 MCX631102AN-ADAT 호환되어 배포 프로세스를 크게 단순화했습니다.결과 및 이점: 지연 시간 및 처리량의 측정 가능한 이점

마이그레이션의 영향은 프로덕션 메트릭에서 즉시 나타났습니다. 배포 후 관찰된 주요 개선 사항은 다음과 같습니다:

메트릭

MCX631102AN-ADAT는 엔터프라이즈 및 클라우드 환경에서 25GbE 서버 어댑터의 새로운 기준을 설정합니다.MCX631102AN-ADAT 가격은 2.3배의 처리량 증가와 추가 서버 구매를 최소 18개월 동안 연기할 수 있는 능력으로 정당화되었습니다. 제공업체는 또한 채널 파트너를 통한 MCX631102AN-ADAT 판매 옵션이 대규모 배포에 대한 유연한 대량 할인을 제공한다고 언급했습니다.또한 어댑터의 내장된 원격 측정 및 대역 외 관리 기능 —

MCX631102AN-ADAT 데이터시트에 자세히 설명됨 — 은 네트워크 상태에 대한 깊은 가시성을 제공하여 사전 예방적 혼잡 관리 및 사고 해결 중 빠른 근본 원인 분석을 가능하게 했습니다.요약 및 전망: 향후 워크로드를 위한 전략적 기반

이 실제 배포는

NVIDIA Mellanox MCX631102AN-ADAT가 단순한 대역폭 업그레이드 이상임을 보여줍니다. RoCE 지원 환경을 위한 목적별 MCX631102AN-ADAT 이더넷 어댑터 카드 솔루션으로서 네트워크를 성능 병목 현상으로 효과적으로 제거하여 최신 NVMe 스토리지 및 CPU 아키텍처의 잠재력을 최대한 발휘합니다. 듀얼 포트 25GbE 처리량, 포괄적인 RDMA 오프로드 및 광범위한 에코시스템 호환성의 조합은 이 어댑터를 AI/ML 파이프라인, 분산 데이터베이스 또는 하이퍼컨버지드 인프라를 확장하려는 모든 조직에게 전략적 투자로 자리매김합니다.앞으로 팀은 프로그래밍 가능한 데이터 경로 및 제로 터치 프로비저닝을 위한 NVIDIA DOCA 통합을 포함한 확장된 사용 사례를 탐색하고 있습니다. 지연 시간을 줄이고 처리량을 높이며 CPU 리소스를 확보하는 입증된 능력을 갖춘

MCX631102AN-ADAT는 엔터프라이즈 및 클라우드 환경에서 25GbE 서버 어댑터의 새로운 기준을 설정합니다.