ラック 간 단거리 고속 상호 연결 및 케이블 간소화

최신 AI 클러스터, 고성능 컴퓨팅(HPC) 환경 및 대규모 클라우드 데이터 센터는 200G InfiniBand HDR 패브릭을 기반으로 구축되고 있습니다. 랙 밀도가 증가하고 GPU 서버가 여러 랙에 걸쳐 확장됨에 따라 중요한 인프라 과제가 발생합니다. 즉, 신호 무결성, 열 효율성 또는 케이블 관리의 단순성을 희생하지 않고 인접하거나 가까운 랙(일반적으로 5-30미터 거리)에 위치한 스위치와 서버를 안정적으로 상호 연결하는 방법입니다. 기존의 패시브 DAC(Direct Attach Copper 케이블)는 200Gb/s에서 3-5미터로 제한되어 랙 간 연결에는 적합하지 않습니다. 반대로, 별도의 광섬유 패치 코드가 있는 광 트랜시버는 추가 구성 요소를 도입하고, 장애 지점을 늘리며, 재고 관리를 복잡하게 만듭니다.

아키텍트 및 운영 팀에서 파악한 핵심 요구사항은 랙 내부 및 랙 간 거리에 걸쳐 200Gb/s 성능을 제공하면서 케이블 복잡성을 줄이고, 배포 시간을 최소화하며, NVIDIA Mellanox HDR 인프라와의 원활한 호환성을 보장하는 통합 물리 계층 솔루션입니다. 이 백서에서는 NVIDIA Mellanox MFS1S00-H010V 액티브 광 케이블(AOC)이 표준화되고 확장 가능한 상호 연결 솔루션으로서 이러한 요구를 어떻게 충족하는지 제시합니다.

제안된 아키텍처는 NVIDIA Mellanox HDR 참조 설계와 완전히 호환되는 2계층 리프-스파인 토폴로지를 기반으로 합니다. 각 서버 랙에는 리프 스위치(NVIDIA Quantum HDR)가 배포되어 짧은 DAC 또는 AOC를 통해 GPU 또는 컴퓨팅 노드에 연결됩니다. 리프 스위치를 스파인 스위치에 연결하는 중요한 랙 간 연결과 소규모 클러스터의 리프 스위치 간 직접 연결은 MFS1S00-H010V 200G QSFP56 AOC 케이블 솔루션을 사용하여 설정됩니다. 이 접근 방식은 별도의 광 모듈의 필요성을 없애면서 패브릭 전체에서 완전한 HDR 성능을 유지합니다.

이 설계에서 MFS1S00-H010V는 5미터에서 50미터 사이의 거리가 필요한 모든 링크에 대한 범용 상호 연결 역할을 합니다. 단일 AOC SKU로 표준화함으로써 아키텍처는 다음을 달성합니다:

• 자재 명세서(BOM) 감소: 하나의 케이블 유형이 여러 DAC 길이와 광 모듈 조합을 대체합니다.
• 간소화된 케이블 관리: 일관된 케이블 직경과 유연성이 공기 흐름과 라우팅 밀도를 향상시킵니다.
• 미래 지향적 확장성: 클러스터가 성장함에 따라 리프-스파인 및 확장 링크 모두에 동일한 AOC를 사용할 수 있습니다.

NVIDIA Mellanox MFS1S00-H010V는 양쪽 끝에 QSFP56 커넥터가 있는 통합 액티브 광 케이블입니다. 200Gb/s에서 작동하는 InfiniBand HDR 네트워크를 위해 특별히 제작되었습니다. 아키텍처 내에서 랙 간 리프-스파인 및 리프-리프 연결을 연결하는 물리적 링크 계층 역할을 합니다. 그 역할을 정의하는 주요 기술 특성은 다음과 같습니다:

또한, MFS1S00-H010V InfiniBand HDR 200Gb/s 액티브 광 케이블은 밀봉된 광 엔진을 특징으로 하여 노출된 인터페이스를 제거하고 설치 중 오염 위험을 줄입니다. 자세한 MFS1S00-H010V 사양 및 공식 MFS1S00-H010V 데이터시트는 InfiniBand Trade Association 표준 준수를 확인하여 모든 MFS1S00-H010V 호환 플랫폼과의 상호 운용성을 보장합니다.

새로운 배포의 경우, 3미터를 초과하는 모든 200G 연결에 대해 MFS1S00-H010V를 기본 케이블링 선택으로 취급하는 것이 좋습니다. 일반적인 3개 랙 클러스터 구성에서:

• 랙 내부 (서버-리프): 최저 지연 시간 및 전력을 위해 짧은 DAC(≤3m)를 사용합니다.
• 랙 간 (리프-스파인 / 리프-리프): 최대 50m 거리의 경우 MFS1S00-H010V 200G QSFP56 AOC 케이블을 배포합니다. 이는 행 끝에 위치한 스파인 스위치 또는 인접 랙 간의 연결을 포함합니다.
• 케이블 번들: MFS1S00-H010V의 얇고 유연한 재킷으로 인해 최대 48개의 케이블 번들을 표준 케이블 관리 암을 통해 공기 흐름을 방해하지 않고 라우팅할 수 있습니다.

500노드 이상으로 확장하려면 아키텍트는 중복 연결을 갖춘 스파인-리프 토폴로지를 구현하는 것을 고려해야 합니다. MFS1S00-H010V 200G QSFP56 AOC 케이블 솔루션은 선형적으로 확장됩니다. 추가된 각 리프 스위치는 동일한 AOC 유형을 사용하여 스파인 스위치에 업링크될 수 있습니다. 이 표준화는 배포 오류를 줄이고 사전 종단 처리된 케이블 공장을 허용하여 모듈식 광 솔루션에 비해 설치 시간을 최대 40%까지 단축합니다.

운영 관점에서 볼 때, NVIDIA Mellanox MFS1S00-H010V는 몇 가지 주요 속성을 통해 Day-2 관리를 단순화합니다. 첫째, 패시브 액티브 광 케이블(통합 트랜시버)이므로 재고, 추적 또는 교체할 별도의 광 모듈이 없습니다. 둘째, 모든 케이블 상태 및 신호 무결성 메트릭은 NVIDIA Mellanox 스위치 CLI 및 패브릭 관리자를 통해 액세스할 수 있으므로 엔지니어는 포트별 광 수신 전력, 링크 오류율 및 온도를 모니터링할 수 있습니다.

통합 SKU 접근 방식으로 인해 문제 해결이 간소화됩니다. 링크 문제가 감수지되면 트랜시버 대 광섬유 문제를 진단하는 대신 전체 케이블을 교체하여 교체합니다. MFS1S00-H010V 데이터시트는 굽힘 반경 제한(최소 30mm)과 미세 굽힘 손실을 방지하기 위한 권장 취급 절차를 제공합니다. 최적화를 위해 다음 모범 사례를 권장합니다:

• 색상으로 구분된 케이블 관리를 사용하여 MFS1S00-H010V 링크를 구리 연결과 구별합니다.
• NVIDIA UFM(Unified Fabric Manager)을 통해 자동화된 링크 모니터링을 구현하여 사전 장애 저하를 감지합니다.
• 모듈식 광학 장치에 대한 의존성 없이 신속한 교체를 보장하기 위해 MFS1S00-H010V 판매용 예비 재고를 소량 유지합니다.

3-5년의 기간에 걸쳐 총 소유 비용(TCO)을 평가하여 비용 효율성을 더욱 향상시킬 수 있습니다. 초기 MFS1S00-H010V 가격은 패시브 DAC보다 높을 수 있지만, 감소된 장애율, 낮은 배포 인건비 및 간소화된 예비 재고는 종종 랙 간 연결에 대해 더 낮은 TCO를 초래합니다.

NVIDIA Mellanox MFS1S00-H010V 액티브 광 케이블은 랙 간의 단거리 고속 상호 연결이라는 오랜 과제에 대한 맞춤형 솔루션을 제공합니다. DAC의 플러그 앤 플레이 단순성과 광학 장치의 도달 거리 및 신호 무결성을 결합하여 아키텍트가 모듈식 광 시스템의 복잡성 없이 깔끔하고 확장 가능한 HDR 패브릭을 설계할 수 있도록 합니다. 주요 가치 결과는 다음과 같습니다:

• 배포 속도: 통합 SKU는 설치 시간을 단축하고 트랜시버 삽입 단계를 제거합니다.
• 운영 단순성: 별도의 트랜시버 재고 없음; 표준화된 예비 재고.
• 열 효율성: 낮은 엔드당 전력 소비와 유연한 케이블링이 고밀도 스위치의 공기 흐름을 개선합니다.
• 확장성: MFS1S00-H010V 200G QSFP56 AOC 케이블은 물리적 계층 설계를 변경하지 않고도 몇 개의 랙에서 수백 개의 랙까지 클러스터 성장을 지원합니다.

NVIDIA Mellanox HDR 인프라를 계획하거나 확장하는 조직의 경우, MFS1S00-H010V를 표준 랙 간 케이블로 채택하면 미래 지향적이고 관리 가능하며 고성능의 기반을 제공합니다. 최신 MFS1S00-H010V 데이터시트 및 호환성 매트릭스를 포함한 자세한 참조 설계는 NVIDIA 파트너 채널을 통해 사용할 수 있습니다.