학습에서 프로덕션까지: NVIDIA와 CoreWeave, 에이전트 AI의 순환 고리를 닫다

2026년 9월 30일 NVIDIA는 공식 블로그를 통해, CoreWeave가 샌프란시스코에서 열린 Fully Connected 행사에서 Spectrum-X 102.4T 이더넷을 갖춘 NVIDIA Vera Rubin NVL72 시스템을 클라우드로 제공하기 시작했다고 발표했다. AI 소프트웨어 엔지니어 Devin을 만든 응용 AI 연구소 Cognition이 Vera Rubin에서 프로덕션 워크로드를 돌리는 첫 고객이 되었다. 아울러 CoreWeave는 NVIDIA가 AI 에이전트를 위해 만든 첫 CPU라고 부르는 NVIDIA Vera를 제공할 예정이며, NVIDIA 가속 컴퓨팅 위에서 모델과 에이전트를 학습, 평가, 개선하는 연결형 환경 CoreWeave Forge도 공개했다. 세 가지 발표를 합치면 학습, 추론, 샌드박스 실행, 그리고 평가가 다시 학습으로 돌아가는 하나의 사슬이 그려진다. 출처에 대해 먼저 밝혀 둔다. 이 글은 주로 NVIDIA 공식 블로그에 근거하며, 아래의 성능 수치는 모두 벤더나 고객이 공개한 초기 테스트 결과이고 독립적인 재현은 이뤄지지 않았다. 확정된 사실이 아니라 방향을 보여 주는 신호로 읽어야 한다.

먼저 가장 눈에 띄는 수치를 보자. Cognition은 Devin의 학습, 강화학습, 프로덕션 추론을 CoreWeave에서 실행하며, 추론 워크로드를 뒷받침하기 위해 9개월 만에 수천 개 GPU 규모로 확장했다. 이달 초 CoreWeave는 첫 Vera Rubin NVL72 프로덕션 랙을 받았고, 얼마 지나지 않아 Cognition은 GB200 NVL72를 기준선으로 삼아 Vera Rubin의 추론 성능을 비교했다. 실제 소프트웨어 엔지니어링 작업을 쓰기 위해 FrontierCode에서 일부 과제를 뽑아 AI 에이전트가 풀게 했다. 초기 테스트에서 Vera Rubin NVL72는 SWE-2 추론 워크로드의 총 토큰 처리량이 GB200 NVL72보다 최대 4.8배 높았다. 여기서 세 가지를 짚어야 한다. 첫째, 「최대」라는 말은 4.8배가 평균이 아니라 상한이라는 뜻이다. 둘째, 비교 대상은 훨씬 오래된 Hopper가 아니라 이전 세대인 GB200 NVL72다. 셋째, 부하는 채팅이나 단발성 질의응답이 아니라 에이전트 코딩이다. Cognition 창업팀의 Silas Alberti는 에이전트 코딩을 긴 컨텍스트, 높은 동시성, 그리고 토큰당 비용이 무엇을 출시할 수 있는지를 좌우하는 토큰 물량이 따르는 복잡한 워크로드라고 설명한다. Devin에게 더 높은 처리량은 더 빠른 실시간 코드 생성과 더 반응성 좋은 다단계 추론을 뜻한다. 또 하나의 사실도 무게가 있다. CoreWeave는 며칠 만에 Cognition용 프로덕션 Vera Rubin 클러스터를 세웠는데, NVIDIA는 이를 인프라부터 제공되는 토큰까지 스택 전반에 걸친 공동 설계의 결과로 설명한다. 고객에게는 납품에서 프로덕션까지 걸리는 시간이 최고 성능만큼 가치가 있는 경우가 많다.

두 번째 흐름은 CPU다. NVIDIA의 진단은 에이전트 AI가 두 방향에서 인프라를 압박한다는 것이다. 에이전트를 서비스하려면 대규모의 낮은 지연 시간 연산이 필요하고, 후속 학습으로 에이전트를 개선하려면 서로 격리된 수천 개 환경을 동시에 돌려야 한다. 뒤쪽 수요는 GPU가 아니라 주로 CPU의 문제다. 블로그에 따르면 핵심 지표는 격리된 에이전트 환경을 몇 개나 동시에 돌릴 수 있는지, 그리고 그 수가 늘어도 각 환경의 성능이 일관되게 유지되는지다. CoreWeave가 도입한 Vera는 한 랙에 CPU 128개, 총 11,264코어를 담아, 환경당 한 코어로 계산하면 11,000개가 넘는 동시 환경을 수용할 수 있다. 두 총합을 나누면 CPU당 약 88코어가 되는데, 이는 우리의 계산이며 블로그가 밝힌 수치는 아니다. 이 환경들은 CoreWeave Sandboxes를 통해 하드웨어 격리 방식으로 실행되고, 이들이 지원하는 학습 작업과 나란히 배치되며, Spectrum-X 이더넷 스위치와 BlueField-4 DPU가 에이전트 간 통신을 안전하고 낮은 지연으로 유지한다. 테스트에서 CoreWeave는 Vera CPU에서 에이전트 샌드박스 시작 속도가 3배 넘게 빨라졌고, Terminal-Bench에서는 통과한 모든 과제에서 1.7배의 성능 향상을 얻었다고 밝혔다. 샌드박스는 강화학습, 에이전트의 도구 사용, 모델 평가를 위한 실행 계층으로, 팀이 격리된 환경에서 코드를 실행하게 해 준다. 시작 속도가 중요한 이유는 강화학습의 매 시도마다 새 환경이 필요할 수 있어서, 시작이 느리면 값비싼 가속기가 놀게 되기 때문이다.

세 번째 흐름은 Forge다. 블로그는 모델과 에이전트가 하나의 순환 고리를 통해 좋아진다고 말한다. 프로덕션에서의 행동이 다음 학습을 이끌고, 평가를 거칠 때마다 다음 버전이 더 날카로워진다. 이 고리는 지금까지 여러 벤더의 도구로 쪼개져 있었고, 넘겨받을 때마다 신호가 사라졌다. CoreWeave Forge는 이 단계들을 하나의 환경으로 묶어 프로덕션의 피드백이 학습으로 돌아가게 하는 것을 목표로 한다. 솔직히 말하면, 우리가 확보한 블로그 본문은 Forge 설명 도중에 잘려 있어 구성 요소, 인터페이스, 가격은 확인할 수 없다. 자세한 내용은 CoreWeave의 원문 발표를 확인하기 바란다. 확인되는 것은 소프트웨어 쪽이다. Vera Rubin 용량은 CoreWeave Kubernetes Service, SUNK, CoreWeave Mission Control, CoreWeave Sandboxes, CoreWeave Inference를 통해 운영할 수 있다. 스케줄링과 클러스터 관리에서 샌드박스와 추론 서빙까지, CoreWeave는 하나의 용량 풀이 학습, 평가, 실시간 추론을 모두 맡도록 하려 한다. 이는 Cognition이 한 플랫폼에서 학습, 강화학습, 프로덕션 추론을 함께 수행하는 방식과도 맞아떨어진다.

마지막으로 산업적 의미를 보자. NVIDIA의 Ian Buck이 강조하는 것은 세대를 넘나드는 가치다. CoreWeave의 NVIDIA V100 GPU는 Volta 출시 후 거의 10년이 지난 지금도 고객 워크로드를 돌리고 있으며, 동시에 CoreWeave는 Vera Rubin NVL72를 프로덕션에 투입한다. AI 인프라 투자가 수백억 달러 규모로 이야기되는 상황에서, 자산이 여러 하드웨어 주기에 걸쳐 수익을 내느냐는 수익률과 자본 비용을 좌우한다. 블로그 부제가 말하는 생산적이고, 내구성 있고, 대체 가능한(fungible) 인프라가 바로 이 뜻이다. Buck은 적절한 GPU를 적절한 워크로드에 두겠다고도 말했는데, 이는 신구 세대가 공존하며 작업별로 계층화되는 모습을 시사한다. 우리의 해석으로 이 발표에는 세 가지 메시지가 있다. 추론의 경제성은 최고 성능에서 토큰당 비용과 동시성으로 옮겨 가고 있다. 에이전트 때문에 CPU가 다시 병목 후보가 되고, 샌드박스 밀도가 새로운 구매 지표가 된다. 그리고 학습, 평가, 프로덕션을 닫힌 고리로 잇는 일이 클라우드 사업자 간 제품 차별화 요소가 되고 있다. 남은 질문은 4.8배나 3배 같은 수치를 독립 벤치마크가 재현할 수 있는지, Vera Rubin의 공급과 전력 비용은 어떤지, Forge를 실제 고객이 얼마나 채택할지다. 이 질문에 답이 나올 때까지 가장 안전한 해석은, 방향은 분명하고 수치는 검증이 필요하다는 것이다.