NVIDIA Mellanox MCX653106A-HDAT: 낮은 지연 RDMA/RoCE 전송 및 서버 처리량 돌파구를 달성

분산 스토리지, 고주파 거래, AI 교육 클러스터를 포괄하는 최신 데이터 센터 환경에는 네트워크로 인한 대기 시간을 줄이고 CPU에 부담을 주지 않고 서버 처리량을 최대화하는 두 가지 지속적인 과제가 남아 있습니다. 이 애플리케이션 심층 분석에서는 선도적인 클라우드 인프라 제공업체가 다음을 배포하여 이러한 정확한 문제를 어떻게 해결했는지 살펴봅니다.NVIDIA Mellanox MCX653106A-HDAT컴퓨팅 및 스토리지 노드 전반의 서버 어댑터.

배경 및 과제

소프트웨어 기반 TCP/IP 스택을 갖춘 표준 이더넷 어댑터를 기반으로 하는 공급자의 기존 25GbE 인프라에는 분명한 한계가 있었습니다. 패브릭을 통해 NVMe를 사용하는 스토리지 워크로드는 예측할 수 없는 지연 시간 급증(종종 50μs 초과)을 경험했으며, 데이터베이스 클러스터는 네트워크 처리에만 코어의 최대 35%가 소비되는 높은 CPU 사용률로 어려움을 겪었습니다. 엔지니어링 팀은 완전한 아키텍처 점검 없이도 RDMA 트랜잭션에 대해 10μs 미만의 대기 시간을 제공하고 200GbE 처리량을 지원할 수 있는 솔루션이 필요했습니다.

여러 옵션을 평가한 후 그들은MCX653106A-HDAT 이더넷 어댑터 카드는 하드웨어 오프로드 RoCE(RDMA over Converged Ethernet)와 기존 Cumulus Linux 기반 리프-스파인 토폴로지와의 원활한 통합을 약속했습니다.

솔루션 및 배포 접근 방식

배포는 다음을 중심으로 이루어졌습니다.MCX653106A-HDAT ConnectX 어댑터 PCIe 네트워크 카드, 듀얼 포트 100GbE 구성을 활용하여 비차단 패브릭을 생성합니다. 각 컴퓨팅 노드에는 하나의 어댑터가 제공되었으며, 스토리지 노드에는 중복성을 위해 두 개가 장착되었습니다. 주요 구현 단계는 다음과 같습니다.

• 무손실 전송을 보장하기 위해 PFC(우선순위 흐름 제어) 및 ECN(명시적 혼잡 알림)과 함께 RoCEv2를 활성화합니다.
• 우선 순위가 높은 데이터베이스 및 스토리지 워크로드에 가상 기능을 전용으로 사용하도록 SR-IOV 구성
• 최신 배포MCX653106A-HDAT 호환Ubuntu 22.04 LTS 노드 전체의 드라이버 스택(NVIDIA DOCA 2.5)
• 패킷 처리 경로를 위한 하드웨어 기반 DPDK 가속 구현

바탕으로MCX653106A-HDAT 데이터시트및 배포 전 검증을 통해 팀은 용량 계획을 안내하는 지표인 소규모 패킷 트랜잭션에 대해 1μs 미만의 하드웨어 대기 시간과 최대 2억 1,500만 초당 패킷(MPPS)을 예상했습니다.

결과 및 측정 가능한 이점

50개의 프로덕션 노드에 대한 4주간의 파일럿 이후 인프라 팀은 비교 시 다음과 같은 개선 사항을 문서화했습니다.NVIDIA Mellanox MCX653106A-HDAT레거시 어댑터에 대해:

원시 숫자 외에도 엔지니어링 팀은 다음과 같은 사실을 지적했습니다.MCX653106A-HDAT 이더넷 어댑터 카드 솔루션인터럽트 통합 해킹 및 과도한 크기의 수신 버퍼와 같이 이전에 필요했던 조정 해결 방법을 제거했습니다. VXLAN 및 Geneve에 대한 어댑터의 하드웨어 오프로드도 컨테이너 네트워킹 스택을 단순화하여 Kubernetes 환경에서 포드 간 대기 시간을 40% 줄였습니다.

비용을 평가하는 IT 관리자의 경우MCX653106A-HDAT 가격유사한 200GbE 솔루션과 비교하면 CPU 코어 절약 및 스위치 포트 사용량 감소를 고려할 때 총 소유 비용이 15~20% 더 낮은 것으로 나타났습니다. 그 동안에,MCX653106A-HDAT 판매용HPC 및 실시간 분석을 포함한 인접 팀의 문의는 이미 다음 조달 주기를 위해 제출되었습니다.

요약 및 전망

배포를 통해 다음이 확인됩니다.NVIDIA Mellanox MCX653106A-HDAT이는 단순한 사양 업그레이드가 아니라 대기 시간에 민감하고 처리량이 제한된 환경을 위한 기능적 도약입니다. RoCE 오프로드, SR-IOV 및 GPUDirect 지원 아키텍처를 통해 네트워크 처리를 소프트웨어에서 하드웨어로 전환함으로써 조직은 애플리케이션 로직에 대한 CPU 주기를 회수하는 동시에 결정적인 마이크로초 규모의 대기 시간을 달성할 수 있습니다.

인프라 팀은 롤아웃을 500개 이상의 노드로 확장하면서 멀티 테넌트 보안을 위한 어댑터의 내장 인라인 암호화(IPsec/TLS)와 금융 서비스 워크로드를 위한 PTP(IEEE 1588v2)도 탐색하고 있습니다. 검증된 구성을 원하는 엔지니어를 위한MCX653106A-HDAT 사양및 참조 디자인은 NVIDIA의 DOCA 개발자 포털을 통해 제공됩니다. 이 실제 사례를 통해 한 가지 사실이 분명해졌습니다.MCX653106A-HDAT ConnectX 어댑터 PCIe 네트워크 카드차세대 데이터 센터를 위한 짧은 대기 시간, 높은 처리량의 이더넷을 약속합니다.

더 자세한 기술 검토를 원하시면 공식 담당자에게 문의하세요.MCX653106A-HDAT 데이터시트또는 해당 지역의 NVIDIA 솔루션 설계자에게 문의하세요.