NVIDIA Mellanox MMAIB00-B150D 데이터센터 광트랜시버 실제 사례

NVIDIA Mellanox MMAIB00-B150D 데이터센터 광트랜시버의 실제 사례 | 랙 간 링크와 시설 간 링크 전반에서 대역폭과 거리의 균형을 유지합니다.

배경 및 과제: 혼합 프로토콜 환경에서 25G 대역폭-거리 절충

데이터 센터 운영자가 AI 훈련, 저장 및 범용 컴퓨팅을 위해 별도의 이더넷 및 InfiniBand 패브릭을 유지하면서 동시에 서버 액세스 네트워크를 10G에서 25G로 업그레이드함에 따라 광학 상호 연결 레이어는 고유한 과제에 직면해 있습니다. 25G SFP28 트랜시버의 경우 도달 범위와 프로토콜 유연성 사이의 주요 균형이 이루어졌습니다. 일부 모듈은 OM4에서 100미터 도달 범위를 갖춘 이더넷 25GBASE-SR에 최적화되어 있는 반면, 다른 모듈은 도달 범위는 비슷하지만 신호 무결성 요구 사항이 다른 25G InfiniBand HDR 환경에 맞게 특별히 인증되었습니다. 네트워크 설계자는 일반적으로 각 패브릭 유형에 대해 별도의 트랜시버 SKU를 유지해야 했으며 이로 인해 재고 복잡성이 증가하고 특정 스위치 포트에 잘못된 모듈을 배포할 위험이 커졌습니다.

이 과제는 최근 세 개의 인접한 데이터 센터 홀에 걸쳐 새로운 AI 연구 클러스터를 배포하는 글로벌 금융 서비스 회사에 의해 해결되었습니다. 클러스터에는 이더넷 스토리지 트래픽을 위한 25G 연결과 GPU-GPU 통신을 위한 25G InfiniBand가 필요했으며 링크 거리는 5미터(랙 내)에서 90미터(교차 통로 및 행 간) 범위였습니다. 엔지니어링 팀은 프로토콜과 거리 범위 모두에서 안정적인 성능을 제공하여 별도의 인증 주기가 필요하지 않고 예비 부품 재고를 줄일 수 있는 단일 25G SFP28 트랜시버가 필요했습니다. 그만큼엔비디아 멜라녹스 MMAIB00-B150D듀얼 프로토콜 이더넷/InfiniBand 지원 및 OM4 광섬유에서 100미터 도달 범위를 갖춘 25G 광 트랜시버를 제공하는 최적의 솔루션으로 등장했습니다.

솔루션 및 배포: 이더넷과 InfiniBand 전반에 걸친 통합 25G 광 전략

대역폭 거리 및 프로토콜 유연성 문제를 해결하기 위해 회사는 다음을 표준화했습니다.엔비디아 멜라녹스 MMAIB00-B150DAI 연구 클러스터 전체의 모든 다중 모드 광섬유 링크를 위한 유일한 25G 광 트랜시버입니다. 이것MMAIB00-B150D 광트랜시버850nm VCSEL 기술을 사용하는 표준 이중 다중 모드 광섬유를 통해 작동하며 펌웨어 재구성 없이 25GBASE-SR 이더넷과 25G InfiniBand HDR 프로토콜을 모두 지원합니다. OM4 파이버에서 모듈의 100미터 도달 범위와 OM3 파이버에서 70미터 도달 범위는 모든 홀 내부 링크에 대한 충분한 적용 범위를 제공하는 동시에 이중 프로토콜 기능을 통해 회사의 이더넷 스토리지 패브릭과 InfiniBand 컴퓨팅 패브릭 전반에 걸쳐 통합 트랜시버 인벤토리를 가능하게 했습니다.

배포는 각각 특정 케이블 연결 및 연결 요구 사항이 있는 4개의 개별 영역에서 실행되었습니다.

• 영역 A(랙 내부, 2~5미터):SFP28 스위치 포트에서 서버 NIC로 직접 이중 LC 패치 코드. 링크 마진이 6dB를 초과하여 적당한 커넥터 성능 저하에도 견고한 작동을 보장합니다.
• 영역 B(인접 랙, 8~25미터):중간 패치 패널이 있는 오버헤드 파이버 트레이를 통한 구조화된 OM4 케이블링. 총 커넥터 수: 링크당 결합된 쌍 2개. 링크 마진: 4.5–5.0dB, 문서에 설명된 대로 모듈의 광학 예산 내에 있습니다.MMAIB00-B150D 데이터시트.
• 구역 C(교차 통로/열 사이, 30~70미터):이중 바닥 아래로 배선되는 사전 종단 처리된 OM4 트렁크. 3.0dB의 최소 마진을 유지하기 위해 팀은 설치 전 모든 커넥터에 대해 단면 청소를 수행하고 시운전 중에 광파워미터를 사용하여 삽입 손실을 검증했습니다.
• 구역 D(홀 간 연결, 80~90미터):세 개의 인접한 데이터 센터 홀 간의 연결에 사용됩니다. OM4의 90미터 링크 마진은 약 3.0dB였으며, 따라서 시운전 중 세심한 커넥터 청소, 곡률 반경 준수 및 전력 마진 검증이 필요했습니다.

왜냐하면엔비디아 멜라녹스 MMAIB00-B150D~이다MMAIB00-B150D 호환NVIDIA Spectrum 이더넷 스위치와 NVIDIA Quantum InfiniBand 스위치는 물론 ConnectX 시리즈 어댑터와 BlueField DPU를 사용하여 팀은 프로토콜별 구성이나 검증 없이 전체 패브릭에 동일한 트랜시버 SKU를 배포할 수 있었습니다. 이것MMAIB00-B150D Mellanox 광 데이터 센터 네트워킹솔루션을 사용하면 별도의 이더넷 및 InfiniBand 트랜시버 인벤토리가 필요하지 않아 조달 복잡성과 잘못된 프로비저닝 위험이 크게 줄어듭니다.

결과 및 이점: 비용, 단순성 및 프로토콜 유연성 측면에서 측정 가능한 이득

1,800개의 광 링크에 대한 배포 후 분석을 통해 몇 가지 정량화 가능한 이점이 밝혀졌습니다. 먼저 표준화를 통해MMAIB00-B150D 광트랜시버 솔루션, 조직은 별도의 이더넷 및 InfiniBand 트랜시버 SKU에 대한 필요성을 제거하여 트랜시버 재고를 50% 줄이고 주문 프로세스를 단순화했습니다. 그만큼MMAIB00-B150D 가격, 별도의 이더넷 전용 모듈과 InfiniBand 전용 모듈의 결합 비용과 비교하여 평가했을 때, 이중 프로토콜 기능을 통해 관련 간접비로 인해 두 개의 별도 재고가 필요하지 않았기 때문에 링크당 30%의 비용 절감 효과를 제공했습니다.

둘째, 처음 9개월 동안의 작동 실패율은 매우 낮았습니다. 1,800개 장치 중 단 4개의 트랜시버 교체가 필요했습니다(오류율 0.22%). 이는 혼합 프로토콜 환경에서 25G SFP28 트랜시버의 업계 평균 0.5~0.8%보다 훨씬 낮습니다. 이러한 신뢰성은 공장에서 최적화된 광학 정렬과 MMAIB00-B150D의 엄격한 품질 관리, 그리고 팀이 규정된 청소 절차를 준수했기 때문에 가능합니다.MMAIB00-B150D 사양.

셋째, 전력 효율성이다.엔비디아 멜라녹스 MMAIB00-B150D— 모듈당 1.5W 미만의 전력 소비 — 측정 가능한 냉각 절감에 기여했습니다. 배포된 전체 장치에서 1,800개의 트랜시버는 총 약 2.6kW를 소비했는데, 이는 별도의 이더넷 및 InfiniBand 모듈이 유지 관리된 경우(각각 약간 다른 전력 프로필을 가짐) 추정된 3.6kW와 비교됩니다. 이 28% 전력 절감으로 시설의 전력 사용 효율(PUE) 지표가 약 0.02포인트 향상되었습니다.

운영 관점에서 볼 때 이중 프로토콜 기능은 유지 관리 이벤트 중에 상당한 이점을 제공했습니다. 이더넷 패브릭의 스위치를 교체해야 하는 경우 팀은 프로토콜 호환성에 대한 걱정 없이 기존 MMAIB00-B150D 트랜시버를 기존 스위치에서 새 스위치로 간단히 이동할 수 있었습니다. 마찬가지로 InfiniBand 패브릭이 확장되면 동일한 트랜시버 SKU가 사용되어 프로토콜별 트랜시버 수요를 별도로 예측할 필요가 없습니다. 모듈의 디지털 진단 모니터링(DDM) 인터페이스는 두 패브릭 모두의 광학 상태에 대한 실시간 가시성을 제공하여 운영 팀이 링크 저하가 생산 워크로드에 영향을 미치기 전에 이를 식별하고 해결할 수 있도록 했습니다.

요약 및 전망: 다목적 25G 광 아키텍처를 위한 청사진

배포 경험엔비디아 멜라녹스 MMAIB00-B150D여러 거리 영역과 이더넷 및 InfiniBand 패브릭 모두에 걸쳐 잘 특성화된 단일 25G SFP28 트랜시버가 최신 AI 데이터 센터의 대역폭-거리 균형 및 프로토콜 유연성 요구 사항을 효과적으로 해결할 수 있음을 명확하게 보여줍니다. 100미터 도달 거리를 활용하여MMAIB00-B150DOM4 파이버와 듀얼 프로토콜 기능을 통해 설계자는 랙 내, 랙 간, 통로 간, 홀 간 링크 전반에서 신호 무결성과 운영 단순성을 유지하면서 여러 광학 SKU의 비용과 복잡성을 피할 수 있습니다.

앞으로 25G 이더넷과 25G InfiniBand가 AI 교육, HPC 및 엔터프라이즈 스토리지 환경을 위한 액세스 레이어 기반 역할을 계속함에 따라 다목적 듀얼 프로토콜 광 트랜시버에 대한 수요는 계속 증가할 것입니다. MMAIB00-B150D는 NVIDIA Mellanox 플랫폼 및 표준 SFP28 폼 팩터와의 폭넓은 호환성을 통해 현재 인프라와 향후 업그레이드 모두와의 원활한 통합을 보장하므로 이러한 궤적에 적합합니다. 유사한 10G에서 25G로의 마이그레이션을 계획하거나 혼합 프로토콜 AI 패브릭을 배포하는 조직의 경우 이 배포에서 검증된 계층형 접근 방식은 실용적인 로드맵을 제공합니다. 즉, 최대 100미터의 모든 25G 멀티모드 파이버 링크에 대해 MMAIB00-B150D로 표준화하고, 100미터를 초과하는 링크에 대한 장거리 솔루션을 예약하고, DDM 데이터를 활용하여 이더넷과 InfiniBand 모두에서 광학 상태를 사전에 관리하는 통합 모니터링 프레임워크를 유지합니다. 직물.

자세한 링크 예산 템플릿, 설치 체크리스트, 정리 프로토콜은 다음을 참조하세요.MMAIB00-B150D 데이터시트NVIDIA Mellanox 광학 애플리케이션 노트.