Vera CPU: 최고 처리량과 가장 빠른 AI 에이전트

배경

NVIDIA는 공식 블로그를 통해 Vera CPU를 소개하며 두 가지 목표를 내세웠습니다. 최고의 처리량, 그리고 가장 빠른 AI 에이전트입니다. 출발점은 단순합니다. 오늘날의 에이전트는 답변을 생성하는 데 그치지 않습니다. 정보를 검색하고, 데이터베이스를 조회하고, 코드를 작성해 테스트하며, 실제 작업까지 수행합니다. 이 단계들은 모두 CPU에 의존하고, 대규모 모델의 추론은 GPU가 맡습니다.

따라서 에이전트 하나가 작업 하나를 끝내는 과정은 GPU 추론과 CPU 실행 사이를 계속 오가는 일입니다. 기업이 에이전트를 더 많이 배치할수록 이 왕복은 몇 배로 늘어납니다. 원문은 그래서 AI 팩토리에 더 강한 CPU가 필요하다고 보며, Vera를 그 답으로 내놓습니다. 다만 원문은 위치와 방향만 밝혔습니다. 코어 수, 클럭, 메모리 대역폭 같은 사양은 NVIDIA가 언급하지 않았으므로 이 글도 추정하지 않습니다.

AI 에이전트에 빠른 GPU뿐 아니라 빠른 CPU도 필요한 이유는 무엇일까요? 에이전트가 반복 루프로 일하기 때문입니다. 모델이 GPU에서 다음 단계를 정하면 CPU에서 도구가 실행되고, 그 결과가 다시 모델로 돌아가 추론이 이어집니다. CPU 쪽이 느리면 GPU가 기다리게 됩니다. Vera CPU가 겨냥하는 문제가 바로 이것입니다.

심층 분석

Vera가 왜 중요한지 보려면 에이전트 워크로드를 기존 챗봇형 추론과 비교해야 합니다. 챗봇 요청에서는 대부분의 일을 GPU가 합니다. 프롬프트가 들어오면 모델이 토큰을 하나씩 만들고 답이 나갑니다. CPU는 주로 작업을 배분하고 데이터를 옮깁니다. 에이전트는 다릅니다. 모델이 행동을 고르고, 도구를 호출하고, 결과를 기다린 뒤, 그 결과를 바탕으로 다시 추론합니다. 원문이 꼽는 도구 호출에는 웹 검색, 데이터베이스 조회, 코드 컴파일, 단위 테스트, 샌드박스 실행, 외부 인터페이스 호출이 있습니다. 모두 범용 연산입니다. 분기 판단, 불규칙한 메모리 접근, 시스템 호출이 많아 GPU에는 맞지 않습니다. CPU가 느려지면 값비싼 가속기가 놀게 되고 활용률이 떨어집니다. AI 팩토리를 운영하는 쪽에는 곧바로 비용이 됩니다. 규모가 커지면 문제는 더 어려워집니다. 에이전트 플랫폼은 수천 개의 세션을 동시에 돌리고, 세션마다 자기만의 도구 환경이 있습니다. 그래서 CPU를 평가하는 기준이 둘입니다. 하나는 전체 처리량, 즉 같은 시간에 몇 개의 에이전트를 감당하느냐입니다. 다른 하나는 작업별 지연 시간, 즉 도구 호출 하나가 얼마나 빨리 돌아오느냐입니다. 두 목표는 서로 당기는 경우가 많습니다. 코어를 늘려 동시성을 높이면 처리량에는 유리하지만 단일 스레드 응답은 불리해질 수 있습니다. Vera는 이 둘을 함께 잡겠다고 내세웁니다. 제목에서 최고 처리량과 가장 빠른 에이전트를 나란히 놓은 이유입니다.

CPU와 GPU 사이의 연결도 중요합니다. 둘이 가까이 협력할수록 추론과 실행을 오갈 때 드는 비용이 줄어듭니다. NVIDIA가 자사 플랫폼 안에 CPU를 넣는 기술적 논리가 여기에 있습니다. 다만 원문은 상호 연결 방식을 설명하지 않았으므로 세부 내용은 확인되지 않았습니다.

산업 영향

이번 발표의 의미는 칩 하나를 넘어섭니다. 지난 몇 년간 NVIDIA의 주력은 GPU와 네트워크였고, CPU는 주로 Intel과 AMD 같은 x86 진영이나 클라우드 기업이 직접 설계한 Arm 프로세서가 맡았습니다. 이제 NVIDIA가 자체 CPU를 내놓는다는 것은 에이전트 워크로드에 필요한 연산, 네트워크, 소프트웨어 스택을 한 플랫폼 안에 담겠다는 신호입니다. 더 완결된 AI 팩토리 상품을 제시하려는 것입니다.

클라우드 사업자와 대기업에는 기회이자 부담입니다. 플랫폼이 촘촘해지면 부품 간 협력이 좋아지고 배치도 쉬워질 수 있습니다. 반면 특정 공급사에 대한 의존은 깊어집니다. 구매자는 이 두 효과를 저울질하게 됩니다.

기존 CPU 제조사에는 에이전트 시대가 CPU의 가치를 다시 끌어올립니다. 시장은 커지지만 경쟁도 거세집니다. 평가 잣대가 범용 벤치마크 점수에서 에이전트를 얼마나 효율적으로 돕느냐로 옮겨가기 때문입니다. 자체 Arm 칩을 가진 클라우드 기업은 에이전트 환경에서 자사 CPU가 NVIDIA 플랫폼보다 어떤 강점이 있는지 답해야 합니다. 소프트웨어 개발자에게도 이해관계가 있습니다. CPU 쪽 도구 실행이 빨라지면 에이전트 제품의 종단 간 경험이 나아집니다. 코딩 보조는 테스트를 더 빨리 돌리고, 데이터 보조는 조회를 더 빨리 끝낼 수 있습니다.

전망

눈여겨볼 신호는 네 가지입니다. 첫째, 실제 벤치마크입니다. NVIDIA는 방향을 제시했고, 시장은 대표적인 에이전트 작업의 종단 간 수치를 원합니다. 초당 처리 세션 수, 도구 호출의 꼬리 지연 시간, 시스템 전체의 에너지 효율이 그 예입니다. 제3자가 재현할 수 있는 결과가 가장 무게를 가질 것입니다.

둘째, 생태계 적합성입니다. CPU는 그 위에서 도는 소프트웨어만큼만 쓸모가 있습니다. 컨테이너, 데이터베이스, 컴파일러 툴체인, 에이전트 프레임워크가 모두 잘 돌아야 합니다. 호환과 최적화 수준이 기업의 이전 비용을 정합니다. 셋째, 주요 클라우드와 서버 업체의 도입입니다. 누가 먼저 출시하고 어떤 가격과 형태로 내놓는지가 실제 수요의 크기를 보여줍니다. 넷째, 경쟁사의 반응입니다. x86 업체가 에이전트용 제품을 내놓을 수 있고, 클라우드 기업도 자체 CPU 개발을 서두를 수 있습니다.

이 신호들 뒤에는 더 큰 흐름이 있습니다. 에이전트가 주된 워크로드가 되면 데이터센터 설계가 GPU 밀도만 중심으로 돌아가지 않을 수 있습니다. CPU, 메모리, 네트워크, 스토리지의 비율을 다시 맞춰야 할 수도 있습니다. Vera는 그 변화의 초기 징후입니다. 최고 처리량과 가장 빠른 에이전트라는 약속을 지킬 수 있을지는 아직 검증되지 않았습니다. 현장 측정과 고객 도입이 답을 줄 것입니다.