d-매트릭스, 랙 규모 XPU 배포 위해 엔비디아 NVLink Fusion 채택

생성형 AI 추론의 메모리 벽과 인메모리 컴퓨팅의 대두

초거대 언어 모델이 수십만에서 수백만 토큰에 이르는 긴 문맥을 실시간으로 처리하는 환경으로 진화함에 따라, 데이터센터 인프라는 심각한 물리적 한계에 직면하고 있습니다. 기존의 GPU 아키텍처에서는 어텐션 메커니즘을 연산할 때 생성되는 키-값(KV) 캐시의 크기가 기하급수적으로 팽창합니다. 이로 인해 프로세서가 고대역폭 메모리(HBM)와 연산 코어 사이에서 대규모 텐서 데이터를 끊임없이 전송해야 하며, 전력 소모와 실행 시간의 대부분이 순수한 데이터 이동에 낭비되는 폰 노이만 병목 현상이 발생합니다.

이러한 문제를 근본적으로 해결하기 위해 인공지능 추론 반도체 혁신 기업 d-매트릭스는 디지털 인메모리 컴퓨팅(DIMC) 기술 기반의 전용 가속기인 Corsair 플랫폼을 개발했습니다. Corsair는 고밀도 정적 메모리(SRAM) 배열 내부에서 직접 행렬 연산을 수행함으로써 데이터 이동 경로를 원천적으로 제거합니다. 이를 통해 외부 메모리 인터페이스와의 통신 지연을 없애고, 첫 토큰 생성 시간(TTFT) 단축과 독보적인 전력 효율을 단일 칩 수준에서 증명해 냈습니다.

하지만 수천억 개 이상의 매개변수를 가진 최신 전문가 혼합(MoE) 모델과 엔터프라이즈급 동시 접속 부하를 감당하기 위해서는 단일 칩의 한계를 넘어 랙 단위(Rack-Scale)로 연산 및 메모리 자원을 유기적으로 확장하는 고속 상호연결 기술이 필수적입니다.

엔비디아 NVLink Fusion 도입: 광학 패브릭 기반 랙 스케일 확장

이러한 구조적 요구에 대응하여 d-매트릭스는 엔비디아와의 심층 협력을 공식 발표하고, Corsair 하드웨어 플랫폼 전반에 NVIDIA NVLink Fusion 인터커넥트 기술을 전면 도입하기로 결정했습니다. 이는 혁신적인 비 폰 노이만 프로세서와 업계 최고 수준의 초고속 광학 패브릭 기술이 결합된 중요한 전환점입니다.

NVLink Fusion은 기존 구리선 기반 인터커넥트의 신호 감쇄 및 거리 한계를 극복하기 위해 설계된 첨단 광학 확장 프로토콜입니다. 공패키징 광학(CPO)과 실리콘 포토닉스를 접목하여 마이크로초 수준의 초저지연과 테라바이트급 초고대역폭을 랙 전반에 걸쳐 제공합니다. Corsair 가속기 모듈에 NVLink Fusion 컨트롤러와 물리 계층을 통합함으로써, 랙 내부의 수백 개 XPU가 마치 하나의 거대한 통합 메모리 공간을 공유하듯 유기적으로 통신할 수 있게 됩니다.

이러한 통합 메모리 구조 덕분에 긴 컨텍스트 추론 중에 발생하는 방대한 양의 KV 캐시를 랙 전체의 분산 SRAM 풀에 효율적으로 분할 배치할 수 있으며, 기존 네트워크 스택의 오버헤드 없이 실시간 병렬 처리를 원활히 유지할 수 있습니다.

4배 에너지 효율 개선과 차세대 AI 데이터센터 인프라 혁신

d-매트릭스와 엔비디아가 공개한 벤치마크 결과에 따르면, NVLink Fusion 기반의 Corsair 랙 규모 클러스터는 동일한 긴 컨텍스트 생성형 AI 추론 워크로드에서 기존 GPU 클러스터 대비 4배 높은 에너지 효율(와트당 토큰 생성량)을 기록했습니다. 추론 처리 속도와 응답 지연 시간을 최고 수준으로 유지하면서도 데이터센터의 전력 소모를 대폭 절감할 수 있다는 사실이 입증된 것입니다.

인프라 설계 관점에서 이번 기술 채택은 연산 자원의 분리 및 특화(Disaggregated Computing)를 가속화하는 계기가 될 것입니다. 데이터센터 운영자는 모든 작업을 범용 대형 GPU에만 의존하는 대신, 대규모 추론에 최적화된 인메모리 가속기를 엔비디아의 성숙한 광학 상호연결망을 통해 기존 서버 인프라에 손쉽게 통합할 수 있습니다. d-매트릭스와 엔비디아의 협업은 미래 초대형 생성형 AI 서비스를 위한 지속 가능하고 경제적인 인프라 구축의 핵심 이정표가 될 것입니다.

아울러 시스템 소프트웨어 스택 측면에서도 d-매트릭스는 엔비디아의 CUDA 생태계 및 최신 추론 가속 라이브러리와의 호환성을 대폭 강화했습니다. 이를 통해 개발자들은 기존의 친숙한 프레임워크를 수정 없이 그대로 활용하여 랙 규모의 Corsair 클러스터에 모델을 즉각 배포할 수 있습니다. 결과적으로 하드웨어 전환에 수반되는 소프트웨어 엔지니어링 오버헤드를 최소화하면서, 전력 효율과 처리량 양면에서 실질적인 TCO 절감 효과를 누릴 수 있습니다.