NVIDIA NIC 솔루션: RDMA/RoCE 저지연 전송 최적화를 위한 배포 필수 사항

AI 및 고성능 컴퓨팅 시대에 네트워크 지연 시간은 중요한 병목 현상이 되었습니다. NVIDIA의 네트워크 인터페이스 카드(NIC)는 고급 RDMA 및 RoCE 기능을 통해 이러한 병목 현상을 제거하고 데이터 집약적인 워크로드에 전례 없는 성능을 제공하도록 특별히 설계되었습니다.

NVIDIA의 고성능 네트워킹 접근 방식은 안정성을 유지하면서 기존 네트워크 스택 오버헤드를 제거하는 데 중점을 둡니다. 이 아키텍처는 몇 가지 주요 원칙을 기반으로 구축되었습니다.

• 데이터 전송에 CPU 참여를 제거하는 커널 바이패스 메커니즘
• 제로 카피 작업을 위한 하드웨어 기반 전송 오프로딩
• 애플리케이션 메모리와 네트워크 간의 초저 지연 시간 경로
• 스마트 혼잡 제어 및 트래픽 관리

RDMA(Remote Direct Memory Access)는 데이터가 네트워크를 통해 이동하는 방식의 근본적인 변화를 나타냅니다. NVIDIA의 구현은 다음을 제공합니다.

• CPU 개입 없이 직접 메모리 간 전송
• 랙 내 통신에 대한 1마이크로초 미만의 지연 시간
• 패킷 크기에 관계없이 회선 속도 처리량
• 최소 CPU 사용률로 애플리케이션 워크로드에 대한 사이클 확보

이로 인해 NVIDIA NIC는 AI 교육 클러스터에 특히 유용하며, RDMA를 사용하면 기존 네트워킹에 비해 교육 시간을 최대 40%까지 줄일 수 있습니다.

RoCE(RDMA over Converged Ethernet)는 표준 이더넷 환경에서 RDMA를 배포하기 위한 지배적인 프로토콜로 부상했습니다. NVIDIA의 RoCE 구현에는 다음이 포함됩니다.

• IP 라우팅 기능을 갖춘 RoCE v2에 대한 포괄적인 지원
• 고급 혼잡 제어 알고리즘(DCQCN, TIMELY)
• 무손실 이더넷을 위한 우선 순위 기반 흐름 제어(PFC)
• 향상된 명시적 혼잡 알림(ECN) 메커니즘

최대 RDMA 성능을 위해 NVIDIA NIC를 배포하려면 몇 가지 중요한 영역에 주의를 기울여야 합니다.

• 네트워크 인프라 구성: 스위치에서 적절한 PFC 및 ECN 설정
• MTU 정렬: 효율적인 대용량 전송을 위한 점보 프레임(일반적으로 9000 MTU)
• 큐 쌍 관리: 애플리케이션 요구 사항에 따라 최적의 큐 쌍 수
• 버퍼 할당: 기아 방지를 위한 충분한 수신 버퍼

NVIDIA NIC는 애플리케이션이 RDMA 기능을 활용하도록 특별히 설계된 경우 가장 큰 이점을 제공합니다.

• RDMA 작업에 최적화된 MPI 구현
• 원격 블록 액세스를 위해 RDMA를 사용하는 스토리지 시스템
• 매개변수 동기화를 위해 RDMA가 내장된 AI 프레임워크
• 분산 트랜잭션 처리를 위해 RDMA를 활용하는 데이터베이스 시스템

최적의 RDMA 성능을 유지하려면 포괄적인 모니터링 기능이 필요합니다.

• 혼잡 감지 및 분석을 위한 실시간 원격 측정
• 빠른 문제 식별을 위한 자세한 오류 카운터
• 네트워크 전체 가시성을 위한 NVIDIA NetQ와의 통합
• RoCE 연결 문제에 대한 고급 진단

AI 교육 시나리오에서 RDMA를 사용하는 NVIDIA NIC는 다음과 같은 상당한 이점을 보여줍니다.

• 모든 감소 작업에 대한 거의 무한대 대역폭
• 동기식 교육을 위한 결정적 지연 시간
• 수천 개의 노드에서 확장 가능한 성능
• NVIDIA GPUDirect 기술과의 원활한 통합

NVIDIA의 하드웨어 전문 지식과 포괄적인 소프트웨어 생태계의 조합은 차세대 AI 인프라를 구축하는 조직을 위한 매력적인 솔루션을 만듭니다. RDMA 및 RoCE 기술에 대한 초점은 NVIDIA NIC를 진정한 고성능 네트워킹을 추구하는 데 필수적인 구성 요소로 자리매김합니다.

데이터 볼륨이 계속 증가하고 지연 시간 요구 사항이 더욱 엄격해짐에 따라 NVIDIA는 네트워크 기술 발전에 대한 노력을 통해 NIC 솔루션이 고성능 컴퓨팅 인프라의 최전선에 남아 있도록 보장합니다.