NEA의 Tiffany Luck, 기업들 여전히 AI 투자수익률 파악 단계라고 지적

배경

올초 실리콘밸리 기술 업계는 '토큰맥싱(Tokenmaxxing)'이라는 다소 비꼼 섞인 하지만 당시 시장 심리를 잘 대변하는 용어로 가득 차 있었다. 이는 비용은 아랑곳없이 AI 토큰 소비를 극대화하여 생성형 모델의 가치를 최대한 끌어내려는 행위를指한다. 당시 주요 기술 기업들의 최고경영자(CEO)들은 직원들에게 생성형 AI 도구를 워크플로우에 최대한 공격적으로 통합할 것을 독려했다. 이때의 지배적인 논리는 사용량의 규모가 곧 기술적 배당금으로 이어질 것이라는 것이었으며, 이는 재무 계획보다 채택 속도가 앞선 급증으로 이어졌다. 이 시기는 대규모 언어 모델의 변혁적 잠재력을 놓칠 것이라는 두려움과 긴박감으로 특징지어졌으며, 리더십 팀들은 최적화의 깊이보다 배포의 넓이를 우선시했다.

그러나 AI 통합의 재무적 현실이 날카롭게 부각되면서 초기의 열정은 빠르게 식었다. TechCrunch 등 언론의 보도는 기업 AI 지출의 중요한 전환점을 강조한다. 글로벌 라이드헤일링 거인인 우버(Uber)는 단 몇 달 만에 전체 연간 AI 예산을 소진한 것으로 알려졌다. 이 사례는 사용량이 엄격하게 모니터링되거나 제한되지 않을 때 비용이 얼마나 빠르게 폭주할 수 있는지에 대한 stark한 예시를 제공한다. 이 사건은 AI 비용이 관리 가능하거나 예측 가능할 것이라는 가정이 많은 고빈도 사용 사례에서 거짓으로 판명된 광범위한 업계의 과제를 상징하게 되었다. 예상 지출과 실제 지출 간의 격차는 엔터프라이즈 차원에서 이러한 기술을 어떻게 예산 책정해야 하는지에 대한 재평가를 강요했다.

상승하는 비용에 대응하여 기업들은 수축 전략을 도입하기 시작했다. 일부 조직은 특정 비즈니스 부서에 걸쳐 Claude와 같은 고급 모델에 대한 라이선스를 감축하기 시작했으며, 이는 보편적 접근에서보다 선택적인 사용으로의 이동을 신호한다. 조달 팀들은 이제 무제한 컴퓨트를 위한 다년 계약을 단순히 서명하는 것이 아니라, AI 인프라에 지출된 모든 달러를 적극적으로 재평가하고 있다. 이 변화는 제한 없는 실험의 이전 단계로부터의 이탈을 나타낸다. 업계는 공격적인 확장 기간에서 재정적 규율의 시대로 이동하고 있으며, 초점은 AI를 얼마나 많이 사용할 수 있는지가 아니라 얼마나 효율적으로 사용할 수 있는가로 shifting되고 있다. 이 정정은 이전의 지출 모델이 대부분의 조직에게 명백하게 지속 불가능했기 때문에 장기적인 지속 가능성을 위해 필수적이다.

심층 분석

'토큰맥싱' 현상은 기술적 불확실성에 대한 방어적 불안과 탐색적 시도착오로 이해될 수 있다. 생성형 AI 붐의 초기 단계에서 많은 기업들은 포브모(FOMO, 놓칠까 봐 두려운 심리)에 시달렸으며, AI를 포괄적으로 채택하지 않으면 경쟁적 불리함에 처할 것이라고 우려했다. 이에 따라 경영진은 조직 전반에 걸쳐 높은 빈도의 사용을 장려하여 데이터를 빠르게 축적하고 워크플로우를 정교화하며 기술의 한계를 테스트하는 전략을 채택했다. 이 접근법은 광범위한 채택이 혁신의 전제 조건이라는 믿음에 기반하고 있었다. 그러나 이 전략은 대규모 언어 모델의 복잡한 비용 구조를 간과했는데, 이는 상당한 규모 효과와 비선형적 특성을 지닌다. 동시 요청량이 증가함에 따라 추론 비용은 선형적으로 증가하지 않았으며, 특히 단순 쿼리-응답 작업을 넘어 더 복잡한 작업으로 이동할 때 지수함수적으로 증가했다.

비용 폭발은 기업들이 기본 애플리케이션에서 코드 생성, 장문 분석 또는 다단계 추론과 같은 더 요구가 높은 작업으로 전환할 때 특히 심각하다. 이러한 복잡한 작업은 상호작용당 훨씬 더 많은 토큰을 필요로 하여, 초기 추정치를 훨씬 초과하는 소비 수준을 초래했다. 또한 많은 조직은 배포 단계에서 세분화된 비용 모니터링 메커니즘을 결여하고 있었다. 가치 있는 상호작용과 비효율적이거나 중복된 사용 사이의 구별 능력이 없었기 때문에, 기업들은 통제 불능 상태에 빠졌다. 초기에는 효율성 도구로 의도되었던 AI가 예산을 빨아들이는 블랙홀로 변모한 것이다. 특정 프롬프트나 워크플로우가 가치를 생성하는지 아니면 단순히 자원을 소비하는지에 대한 가시성 부재는 재무 및 운영 팀을 최종 청구서에 대해 깜깜하게 만들었다.

벤처 캐피털 firmas인 NEA의 파트너 Tiffany Luck은 현재 '정량화 딜레마'의 핵심이 견고한 평가 모델의 부재에 있다고 강조했다. 대부분의 기업은 여전히 AI 사용 데이터를 코드 제출률, 고객 서비스 해결 시간 또는 콘텐츠 생산 효율성과 같은 주요 비즈니스 성과 지표(KPI)와 긴밀하게 연결하는 프레임워크를 구축하지 못했다. 투자수익률(ROI)에 대한 명확한 정의가 없으면, 기업은 어떤 AI 상호작용이 진정한 비즈니스 가치를 생성하는지, 아니면 단순히 자원 낭비인지 결정할 수 없다. 이 측정 능력의 격차는 AI 지출을 합리화하기 위한 주요 장벽이다. 조직이 토큰 소비를 가시적인 산출물 개선과 상관관계 있게 만들 수 있을 때까지, 예산 초과와 자본의 비효율적 할당으로 고군분투할 것이다.

산업 영향

무제한 채택에서 비용 인식 평가로의 이 전환은 경쟁 구도와 관련 이해관계자들에게 깊은 영향을 미치고 있다. 클라우드 서비스 제공자와 대규모 모델 벤더들에게 있어 순수한 '사용량 성장'의 서사는 높은 밸류에이션을 정당화하기에 더 이상 충분하지 않다. 시장은 AI 서비스의 실제 상업적 전환 능력에 점점 더 집중하고 있다. Uber와 같은 기업들의 예산 위기는 시장에 AI가 마진 비용이 거의 없는 공공재가 아니라 엄격한 비용 통제가 필요한 상업적 인프라임을 명확히 신호한다. 이 압력은 AI 공급자들이 비즈니스 모델을 진화하도록 강요하고 있다. 그들은 단순히 컴퓨팅 파워를 판매하는 것에만 의존할 수 없으며, 더 나은 가격-성능 비율, 최적화된 추론 효율성, 또는 결과 기반 가격 구조를 제공하는 솔루션 판매로 pivoting해야 한다.

중소기업(SME)들에게 이 트렌드는 상당한 도전과 새로운 기회를 모두 제시한다. 한편으로, 중소기업들은 기술 거인들에 비해 규모의 경제 부족으로 인해 더 높은 단위 비용 압박을 받을 수 있다. 유리한 비율을 협상하거나 예상치 못한 비용 급등을 흡수하는 것이 어려울 수 있다. 다른 한편으로, 이 환경은 조기에 정교한 AI 거버넌스 프레임워크를 구축할 수 있는 조직들에게 기회를 창출한다. 높은 투자수익률(ROI) 애플리케이션 시나리오를 정확하게 식별하고 엄격한 비용 통제를 구현할 수 있는 기업들은 경쟁사들에 대해 상당한 효율성 장벽을 구축할 것이다. 광범위하게가 아니라 수익성 있게 AI를 사용할 수 있는 능력이 시장에서 중요한 차별화 요소가 되고 있다.

또한, 이 전환은 AI 비용 최적화, 종종 AI를 위한 FinOps로 불리는 새로운 시장 세그먼트의 성장을 촉발하고 있다. 기업들이 토큰 소비를 관리하고, 프롬프트 효율성을 최적화하며, 비정상적인 사용 행동을 모니터링하는 데 도움이 되는 다양한 새로운 도구들이 등장하고 있다. 이러한 도구들은 초기 붐 동안 누락되었던 필요한 가시성과 통제 메커니즘을 제공한다. AI 자원이 어떻게 활용되고 있는지에 대한 세분화된 통찰력을 제공함으로써, 이러한 플랫폼은 재무 및 IT 팀이 예산을 집행하고 낭비를 식별할 수 있게 한다. 이 생태계의 등장은 업계의 성숙화를 나타내며, 초점이 단순한 배포에서 지속 가능한 관리로 이동하고 있음을 반영한다. 이는 장기적인 AI 성공이 기술적 능력뿐만 아니라 재무적 규율과 운영적 엄격함을 필요로 한다는 더 넓은 인식을 반영한다.

전망

앞으로 기업 AI 전략은 '세심한 경작' 단계에 진입할 것으로 예상된다. 점점 더 많은 회사가 내부 사용 정책, 비용 분담 메커니즘 및 성과 평가 기준을 설정하는 책임을 지는 전담 AI 거버넌스 위원회를 설립할 것으로 예상된다. AI 관리의 이 제도화는 지출 통제 유지와 투자가 더 넓은 비즈니스 목표와 일치하도록 보장하는 데 중요할 것이다. 임시적 채택의 시대가 구조화된 거버넌스로 대체되고 있으며, 모든 AI 이니셔티브는 비용 편익 비율에 대해 엄격한 검열을 받게 된다. 이 변화는 조직들이 사후적 예산 관리 상태에서 능동적 전략 계획으로 이동하는 데 도움이 될 것이다.

기술적 관점에서, 트렌드는 특정 수직 도메인에서 범용 대규모 언어 모델보다 더 작고 전문화된 모델을 선호할 가능성이 높다. 이러한 니치 모델은 표적 작업에 대해 더 낮은 비용과 더 높은 정확성을 제공할 수 있어 일상 운영에 대해 더 경제적일 수 있다. 기업들은 복잡한 추론에는 대규모 모델을 사용하고, 대량 저복잡도 작업에는 더 작고 저렴한 모델을 사용하는 하이브리드 접근 방식을 채택할 것이다. 이러한 모델 사용의 계층화는 기업이 작업의 복잡성에 맞춰 모델의 기능을 일치시킴으로써 토큰 지출을 최적화할 수 있게 한다. 또한, AI 조달은 '포괄적 롤아웃' 전략에서 '정밀 타격' 접근법으로 이동할 것이다. 기업들은 광범위하고 측정되지 않은 접근에 지불하는 대신, 특정 사용 사례에서 효율성 향상이나 수익 성장을 직접적으로 입증할 수 있는 AI 솔루션에 지불하는 것을 더 선호할 것이다.

주목해야 할 핵심 신호는 AI 비용을 정기 운영 지표에 성공적으로 통합하는 조직의 출현이다. '탐색 단계'에서 '확장된 수익성 단계'로의 전환을 성공적으로 탐색하는 조직들은 다음 라운드의 시장 재편에서 우위를 점할 가능성이 높다. 투자자와 업계 관찰자들에게 있어 초점은 채택률에서 AI 투자로 인해 생성된 실제 경제적 이익으로 이동해야 한다. 레이스는 이제 누가 가장 많은 AI를 사용하는지가 아니라, 누가 가장 수익성 있게 사용하는지에 관한 것이다. 이는 기술 실행 능력과 비즈니스 지혜의 장기적인 전투가 될 것이며, 승자는 혁신과 재정적 책임 사이의 균형을 맞출 수 있는 이들이 될 것이다. 업계가 성숙해지고 있으며, 무분별한 지출의 시대는 끝났다; 측정되고 가치 기반 투자의 시대가 시작되었다.