HPC 네트워크 비교: 인피니밴드 vs. 이더넷

날짜: 2023년 11월 12일

엑사스케일 컴퓨팅과 복잡한 AI 워크로드에 대한 끊임없는 추구는 고성능 컴퓨팅(HPC) 인프라를 한계까지 밀어붙였습니다. 이러한 진화의 핵심에는 중요한 아키텍처 결정이 있습니다. 바로 인터커넥트 패브릭 선택입니다. InfiniBand vs 이더넷 논쟁은 효율적인 HPC 네트워킹 환경 설계를 위한 핵심입니다. 고성능 인터커넥트 분야의 선두 주자인 Mellanox를 NVIDIA가 인수하면서 이 경쟁은 더욱 치열해졌고, 기업 및 연구 고객을 위한 혁신과 데이터 기반 비교를 이끌고 있습니다.

원시 성능이 주요 차별화 요소입니다. 저지연, 고처리량 데이터 센터 환경을 위해 명시적으로 설계된 InfiniBand는 상당한 이점을 가지고 있습니다.

• 지연 시간: InfiniBand는 일관적으로 600나노초 미만의 종단 간 지연 시간을 제공하며, 이는 긴밀하게 결합된 시뮬레이션에서 MPI(Message Passing Interface) 통신에 매우 중요합니다. RoCE(RDMA over Converged Ethernet)를 사용하더라도 이더넷은 일반적으로 마이크로초 범위(>1.2 µs)에서 작동하여 병렬 워크로드에 병목 현상을 유발합니다.
• 처리량: 두 기술 모두 200G 및 400G 솔루션을 제공하지만, InfiniBand의 혼잡 제어 및 적응형 라우팅은 보다 일관되고 효율적인 대역폭 활용을 보장하여 애플리케이션 성능을 극대화합니다.

기후 모델링 또는 유전체 시퀀싱과 같이 솔루션 도출 시간이 가장 중요한 애플리케이션의 경우, 이러한 성능 격차는 연구 가속화로 직접적으로 이어집니다.

기본 메트릭 외에도 InfiniBand의 아키텍처는 이더넷이 따라잡기 어려운 패러다임 전환 기능을 도입합니다.

• SHARP(Scalable Hierarchical Aggregation and Reduction Protocol): Mellanox InfiniBand 스위치의 이 획기적인 기능은 네트워크 패브릭 내에서 산술 연산(MPI 감소와 같은)을 수행하여 이 작업을 CPU에서 오프로드합니다. 이를 통해 집단 연산을 최대 50%까지 가속화할 수 있으며, 이는 표준 이더넷에서는 사용할 수 없는 기능입니다.
• 네이티브 혼잡 제어: InfiniBand의 내장된 적응형 라우팅은 핫스팟을 피하기 위해 트래픽을 동적으로 관리합니다. 이더넷은 혼잡 관리를 위해 추가 프로토콜(예: DCQCN)에 의존하며, 이는 덜 효율적일 수 있고 복잡한 튜닝이 필요합니다.

일반적인 데이터 센터에서 이더넷의 지배력은 친숙성과 생태계를 기반으로 설득력 있는 사례를 제시합니다.

• 유비쿼터스 및 기술: 이더넷은 보편적으로 이해되며, 방대한 네트워크 엔지니어 풀이 관리 및 문제 해결에 익숙합니다. 이는 운영 오버헤드와 교육 비용을 줄일 수 있습니다.
• 수렴: 단일 이더넷 패브릭은 스토리지, 데이터 및 관리 트래픽을 처리할 수 있어 네트워크 아키텍처를 단순화할 수 있습니다. 그러나 이러한 수렴은 종종 성능에 민감한 HPC 네트워킹 트래픽을 보호하기 위해 복잡한 QoS 정책이 필요합니다.
• 비용: 역사적으로 이더넷 구성 요소는 더 낮은 가격표를 가졌습니다. 그러나 고속 이더넷의 도입으로 격차가 상당히 좁혀졌으며, 성능당 와트 및 성능당 달러를 고려한 총 소유 비용(TCO)은 전용 HPC 클러스터의 경우 InfiniBand를 선호하는 경우가 많습니다.

InfiniBand와 이더넷 사이의 선택은 어느 것이 보편적으로 더 나은가의 문제가 아니라 특정 워크로드에 최적인 것이 무엇인가의 문제입니다. 복잡한 계산에 대한 가장 빠른 솔루션 도출 시간을 달성하는 것이 주요 목표인 순수하고, 미션 크리티컬한 HPC 네트워킹 환경의 경우, Mellanox 기술로 구동되는 InfiniBand가 여전히 최고의 성능 리더입니다. 고급 인-네트워크 컴퓨팅 기능과 뛰어난 효율성은 연구 및 AI 기반 기업에 실질적인 ROI를 제공합니다. 반대로, 극심한 성능이 덜 중요한 혼합 워크로드 환경 또는 클러스터의 경우, 고속 이더넷은 익숙하고 유능한 대안을 제공합니다.