NVIDIA Mellanox MCX556A-ECAT 서버 어댑터 작동: RDMA/RoCE 저연속 성능을 해제하고 AI를 가속화

작동 중인 NVIDIA Mellanox MCX556A-ECAT 서버 어댑터: RDMA/RoCE 저지연 성능 잠금 해제 및 AI 및 분산 스토리지 워크로드 가속화

모델: 는 미션 크리티컬 환경에서 성능, 안정성 및 운영 단순성의 균형을 맞추기 위한 검증된 템플릿을 제공합니다. | 브랜드: NVIDIA Mellanox | 카테고리: 고성능 이더넷 어댑터 | 주요 기능: RDMA/RoCE 저지연 전송 및 서버 처리량 최적화

배경 및 과제: 대규모 AI 학습의 네트워크 병목 현상

선도적인 자율 주행 기술 회사의 데이터 인프라 팀에게 AI 모델 학습 워크로드의 급격한 성장은 기존 네트워크 인프라의 기능을 능가했습니다. 컴퓨팅 클러스터는 200개 이상의 GPU 서버로 구성되었으며, 각 서버에는 25GbE 어댑터가 장착되어 페타바이트 규모의 센서 및 시뮬레이션 데이터를 저장하는 분산 스토리지 시스템에 연결되었습니다. 대규모 학습 작업 중에 팀은 두 가지 중요한 문제를 지속적으로 관찰했습니다. 데이터 로딩 병목 현상으로 인해 GPU 활용률이 70%를 거의 초과하지 못했고, 모델 복구에 필수적인 체크포인트 저장 작업은 40초 이상 소요되어 반복적인 학습 주기를 크게 늦췄습니다.

근본 원인은 네트워크 액세스 계층으로 추적되었습니다. 기존 어댑터에는 강력한 RDMA 오프로드 기능이 부족하여 스토리지 I/O가 TCP/IP 스택을 통과하고 과도한 CPU 주기를 소비해야 했습니다. 이로 인해 높은 꼬리 지연 시간, GPU 리소스의 비효율적인 사용 및 향후 클러스터 확장을 위한 제한된 확장성이 발생했습니다. 팀은 NVMe-oF 스토리지 패브릭의 잠재력을 발휘하기 위해 서브 5μs RDMA 지연 시간과 전체 라인 속도 처리량을 제공할 수 있는 고성능 어댑터가 시급히 필요했습니다. 이것이 바로 의 실제 채택은 RDMA/RoCE 지원 서버 연결이 더 이상 사치가 아니라 최신 AI 워크로드에 필수적임을 보여줍니다. 가 평가 프로세스에 도입된 지점입니다.

솔루션 및 배포: MCX556A-ECAT를 중심으로 RDMA 최적화 패브릭 구축

MCX556A-ECAT 데이터시트 및 진화하는 MCX556A-ECAT 사양은 특히 100GbE 준비 상태 및 향상된 보안 오프로드와 관련하여 로드맵에 계속해서 정보를 제공하고 있습니다. 더 많은 기업이 AI 및 HPC 도메인에서 유사한 확장 압력에 직면함에 따라, MCX556A-ECAT ConnectX 어댑터 PCIe 네트워크 카드를 통해 실시간 센서 데이터 스트리밍 및 연합 학습을 위한 다중 클러스터 동기화를 포함한 추가 사용 사례를 탐색할 계획입니다. 배포 전략은 세 가지 주요 단계를 따랐습니다.

1단계 - 파일럿 배포 (GPU 노드 16개):

• 각 컴퓨팅 노드에 두 개의 MCX556A-ECAT 어댑터를 설치하고 별도의 RoCEv2 지원 리프 스위치에 듀얼 홈했습니다. 팀은 SR-IOV로 어댑터를 구성하여 스토리지 I/O 및 학습 통신에 전용 가상 함수를 할당하여 QoS 격리를 보장했습니다.2단계 - 스토리지 패브릭 통합:
• NVMe-oF 스토리지 대상은 RDMA 지원 엔드포인트를 광고하도록 구성되었습니다. PFC 및 ECN은 RoCEv2 트래픽에 대한 무손실 전송을 보장하기 위해 패브릭 전체에서 활성화되었습니다.3단계 - 프로덕션 확장 (모든 GPU 노드 200개):
• 긍정적인 파일럿 결과를 바탕으로 배포는 전체 클러스터로 확장되었습니다. MCX556A-ECAT 호환 에코시스템은 기존 서버 플랫폼, 스토리지 어레이 및 스위치 인프라와의 원활한 통합을 보장했습니다.배포 전반에 걸쳐

MCX556A-ECAT 이더넷 어댑터 카드는 뛰어난 플러그 앤 플레이 단순성을 보여주었습니다. 팀은 MLNX_OFED 드라이버 스택과 NVIDIA 집합 통신 라이브러리(NCCL)를 활용하여 GPU 간 및 GPU-스토리지 통신 패턴에 대한 RDMA 성능을 최적화했습니다.측정 가능한 결과: 상당한 성능 향상 및 리소스 해방

전체 프로덕션 배포 후 팀은 여러 중요 지표에서 상당한 개선을 기록했습니다. 아래 표는

NVIDIA Mellanox MCX556A-ECAT의 실제 채택은 RDMA/RoCE 지원 서버 연결이 더 이상 사치가 아니라 최신 AI 워크로드에 필수적임을 보여줍니다. 지표

MCX556A-ECAT 가격을 총 소유 비용과 비교 평가했을 때, 첫 두 달의 프로덕션 사용 내에서 ROI가 매력적이었습니다. 확보된 CPU 용량 덕분에 팀은 계획된 서버 업그레이드를 연기할 수 있었고, 학습 시간 단축은 직접적으로 경쟁 우위로 이어졌습니다. NVIDIA의 채널 파트너를 통한 MCX556A-ECAT 판매 옵션은 회사의 자본 지출 주기와 일치하는 유연한 조달 모델을 제공했습니다.요약 및 전망: 미래 AI 인프라를 위한 기반

이 자율 주행 환경에서

NVIDIA Mellanox MCX556A-ECAT의 실제 채택은 RDMA/RoCE 지원 서버 연결이 더 이상 사치가 아니라 최신 AI 워크로드에 필수적임을 보여줍니다. MCX556A-ECAT 이더넷 어댑터 카드 솔루션은 스토리지 병목 현상을 제거하고 GPU 활용률을 극대화하며 모델 학습 주기를 크게 가속화하는 능력을 입증했습니다. 이 모든 것이 통합되고 관리 가능한 네트워크 패브릭 내에서 이루어졌습니다.앞으로 팀은

MCX556A-ECAT ConnectX 어댑터 PCIe 네트워크 카드를 통해 실시간 센서 데이터 스트리밍 및 연합 학습을 위한 다중 클러스터 동기화를 포함한 추가 사용 사례를 탐색할 계획입니다. MCX556A-ECAT 데이터시트 및 진화하는 MCX556A-ECAT 사양은 특히 100GbE 준비 상태 및 향상된 보안 오프로드와 관련하여 로드맵에 계속해서 정보를 제공하고 있습니다. 더 많은 기업이 AI 및 HPC 도메인에서 유사한 확장 압력에 직면함에 따라, MCX556A-ECAT는 미션 크리티컬 환경에서 성능, 안정성 및 운영 단순성의 균형을 맞추기 위한 검증된 템플릿을 제공합니다.