Vertical AI의 미래와 토큰 가치 최적화 게임의 시작

‍

우버는 2026년 한 해 동안 AI 코딩 도구에 사용할 예정이었던 예산을 불과 4개월 만에 소진했습니다. 이후 직원과 Agent가 사용할 수 있는 금액에 월별 한도를 두기 시작했는데요. 우버의 COO 앤드루 맥도널드는 빠르게 늘어나는 토큰 사용량과 실제 고객에게 전달된 제품 개선 사이의 연결고리를 명확하게 설명하기 어렵다고 말했습니다.

불과 얼마 전까지만 해도 토큰을 많이 사용하는 일은 일종의 훈장처럼 여겨졌습니다. 더 많은 프롬프트를 입력하고, 더 긴 컨텍스트를 사용하고, 더 복잡한 Agent를 만드는 것이 곧 AI를 앞서 활용한다는 의미처럼 받아들여졌죠. 업계에서는 이러한 흐름을 '토큰맥싱(Token Maxxing)'이라고 표현하기도 했습니다.

‍

AI가 실험 단계를 넘어 실제 운영 단계에 들어서면서 기업의 시각도 달라졌습니다. 이제 기업의 관심은 토큰을 얼마나 많이 사용하는가가 아니라, 얼마나 큰 비즈니스 가치를 만들어내는가, 즉 '밸류맥싱(Value Maxxing)'으로 이동하고 있습니다. 

‍

기업들이 본격적으로 AI 청구서를 받아보기 시작하면서 질문도 달라졌습니다. 

‍토큰 사용량은 실제로 어떤 비즈니스 가치로 돌아왔는가?

‍

바로 이 질문이 오늘날 기업 AI 전략의 새로운 기준이 되고 있습니다.

‍

6월 24일 커니코리아가 개최한 ‘BEYOND AX: The Rise of the AI-Defined Enterprise’ 포럼에서 이창열 스켈터랩스 대표는 바로 이 질문을 중심으로 「Vertical AI의 미래: 토큰 가치 최적화 게임의 시작」을 발표했습니다.

이 글에서는 발표 내용을 바탕으로 기업 AI의 판단 기준이 어떻게 바뀌고 있는지, Vertical AI Agent를 어떤 방식으로 운영해야 하는지, 그리고 AI-Defined Enterprise는 무엇이 다른지 살펴보겠습니다.

‍

‍

토큰을 많이 쓰는 것과 잘 쓰는 것은 다릅니다

‍

생성형 AI가 확산되면서 토큰은 기업 AI의 새로운 비용 단위가 됐습니다.

토큰은 AI가 텍스트를 이해하고 생성하는 과정에서 사용하는 기본 단위입니다. 질문이 길어지고, 참고해야 할 문서가 많아지고, Agent가 여러 단계의 작업을 수행할수록 토큰 사용량도 늘어납니다.

초기에는 이러한 사용량 자체가 성과처럼 여겨졌습니다. AI를 많이 쓴다는 것은 그만큼 적극적으로 실험하고 있다는 뜻처럼 보였기 때문입니다. 더 긴 컨텍스트와 더 복잡한 Agent 워크플로우가 곧 혁신의 속도를 의미하는 것처럼 받아들여졌습니다.

‍

하지만 토큰 사용량이 많다고 해서 그것이 곧 성과를 의미하는 것은 아닙니다.

‍

맥킨지의 2025년 글로벌 조사에 따르면, 하나 이상의 업무에서 AI를 활용하는 기업은 빠르게 늘고 있지만 전사 차원의 EBIT 효과를 확인했다고 답한 기업은 39%에 그쳤습니다. 반면 AI로 높은 성과를 내는 기업들은 단순히 도구를 배포하는 데서 멈추지 않고, 기존 업무 흐름 자체를 다시 설계하는 경향을 보였습니다.

‍

‍

챗봇 하나를 붙이고, 문서 요약 기능을 추가하고, 부서별 자동화 사례를 몇 개 만드는 것만으로 기업 전체의 생산성과 비용 구조가 바뀌기는 어렵습니다. AI가 성과를 만들려면 필요한 데이터에 접근하고, 기존 시스템과 연결되고, 실제 업무의 다음 단계까지 이어져야 합니다. 이 과정에서 보안과 권한, 책임 구조도 함께 설계되어야 합니다. 

‍

즉, AI 성능이 부족해서가 아니라 AI가 제대로 일할 수 있는 구조를 기업이 아직 충분히 갖추지 못했을 수 있습니다. 

지금의 AX는 AI가 무엇을 할 수 있는지를 증명하는 단계에서, AI가 실제로 어떤 사업 가치를 만들어내는지를 증명하는 단계로 이동하고 있습니다. 이제 기업은 토큰을 얼마나 많이 사용했는지가 아니라, 그 토큰이 얼마나 큰 비즈니스 가치로 이어졌는지를 살펴봐야 합니다.

‍

‍

Value for Token을 넘어 Value for TCO로

‍

AI 도입 초기에는 속도가 중요했습니다.

누가 먼저 AI를 사용하고, 누가 먼저 Agent를 만들고, 누가 먼저 업무에 적용하는지가 경쟁력처럼 보였습니다. 실제로 초기 탐색 단계에서는 빠른 실험이 필요합니다. 어떤 업무에 AI를 적용했을 때 효과가 나타나는지는 직접 사용해보기 전까지 알기 어렵기 때문입니다.

‍

하지만 PoC를 넘어 실제 운영 단계에 들어서면 질문은 가능성에서 지속 가능성으로 옮겨갑니다. 구현할 수 있는지를 넘어, 지속적으로 운영할 만한 가치를 만들어낼 수 있는지가 더욱 중요해집니다.

‍

이때 필요한 기준이 Value for TCO입니다.

Value for Token이 토큰 비용 대비 AI가 만들어낸 가치를 본다면, Value for TCO는 AI를 구축하고, 업무에 연결하고, 운영하고, 통제하는 데 드는 전체 비용 대비 성과를 평가하는 기준입니다.

‍

기업 AI의 비용은 모델 사용료만으로 끝나지 않습니다.

모델과 API 사용료 외에도 인프라, 벡터DB, 오케스트레이션 플랫폼, 데이터 정제, 보안과 감사 체계, 현업 교육과 변화관리 비용이 발생합니다. 오류가 발생했을 때 이를 탐지하고 수정하거나 롤백하는 비용도 함께 고려해야 합니다.

‍

따라서 토큰 단가가 낮다고 반드시 경제적인 AI인 것은 아닙니다. 반대로 높은 성능의 모델을 사용해 토큰 비용이 다소 높아지더라도 업무 시간을 크게 줄이거나 오류 비용을 낮춘다면 더 효율적인 선택이 될 수 있습니다.

실제로 미국의 기업용 커뮤니케이션 소프트웨어 기업 8x8은 Claude를 도입한 뒤, 기능이 겹치는 소프트웨어와 교육 도구 수십 개를 정리했습니다. 회사는 이를 통해 연간 약 500만 달러의 비용을 줄였으며, Claude에 들어가는 연간 비용은 그보다 훨씬 적다고 밝혔습니다.

‍

이처럼 중요한 건 개별 모델의 가격이 아니라, AI 시스템이 총비용(TCO) 대비 얼마나 큰 가치를 만들어내고 있는지입니다. 

‍

업무 시간을 얼마나 줄였는지, 오류와 처리 지연을 얼마나 낮췄는지, 매출과 전환율, 고객 만족도에 어떤 변화를 만들었는지를 구체적으로 측정해야 합니다. 여기에 운영과 보안, 통제에 드는 비용까지 함께 고려해 지속 가능한 투자 가치가 있는지를 판단해야 합니다. 

‍

‍

Agent를 만들기 전에, 무슨 일을 맡길지부터 정해야 합니다 

‍

기업 안에는 이미 다양한 Vertical AI Agent가 들어오고 있습니다. 

계약서를 검토하고, 마케팅 콘텐츠를 만들고, 고객 문의에 답하고, 영업 기회를 분석하는 식인데요. 부서마다 필요한 Agent를 빠르게 만들다 보면 어느 순간 이런 질문이 생깁니다. 

‍

이 Agent는 정확히 무슨 일을 하고 있지? 

누가 관리하고 있고, 실제로 성과는 내고 있는 걸까? 

‍

문제는 Agent가 많다는 데 있지 않습니다. 업무와 책임이 명확하지 않은 Agent가 계속 늘어나는 데 있죠. 비슷한 기능이 중복되기도 하고, 어떤 데이터와 시스템에 접근하는지 파악하기 어려워지기도 합니다. 문제가 생겼을 때 누가 조치해야 하는지도 모호해지고요. 

‍

‍

Agent를 도입하는 일은 새로운 직원을 채용하는 것과 조금 비슷합니다. 채용부터 해놓고 나중에 할 일을 찾지는 않잖아요. 어떤 업무를 맡길지, 어디까지 스스로 판단하게 할지, 어떤 결과를 성과로 볼지 먼저 정해야 합니다. 

성과를 측정할 때도 단순한 작업량만 봐서는 안 됩니다. 콘텐츠 제작 Agent가 하루에 글을 열 편 만들었다고 해도, 수정하는 데 더 많은 시간이 들거나 실제 리드와 전환에 아무런 영향을 주지 못했다면 좋은 성과라고 보기는 어렵습니다.

‍

Agent 도입 전의 업무 시간과 비용, 오류율을 미리 파악해두는 것도 중요합니다. 비교할 기준이 없다면 업무가 실제로 나아진 것인지, 기존 프로세스에 AI 비용만 추가된 것인지 판단하기 어렵기 때문입니다. 

‍

여기서 끝이 아닙니다. 운영 이후에는 계속 평가하고 정리해야 합니다. 성과가 검증된 Agent는 더 넓은 업무로 확장하고, 효율이 낮은 Agent는 데이터와 프로세스를 개선해야 합니다. 비슷한 일을 하는 Agent는 합치고, 더 이상 가치를 만들지 못하는 Agent는 종료할 수도 있어야 합니다. 

Agent 경쟁력은 개수에서 나오지 않습니다. 중요한 것은 어떤 일을 맡기고, 어떤 기준으로 평가하며, 성과와 책임을 어떻게 연결하느냐가 경쟁력을 결정합니다. 나아가 Agent를 얼마나 많이 만드는지가 아니라, 기업의 업무 경험과 판단을 꾸준히 축적하며 지속적으로 비즈니스 가치를 만들어낼 수 있도록 운영하는 것이 더 중요합니다.

‍

‍

토큰 가치 최적화 게임은 이제 시작됐습니다

‍

AI가 더 많은 일을 수행하게 되더라도 무엇을 성과로 볼지 정의하고, 어떤 판단을 AI에게 맡길지 결정하며, 결과에 책임지는 일은 여전히 사람에게 남습니다. 

여기에 더해 AI가 만들어낸 결과를 단순히 받아들이는 것이 아니라, 그 과정과 판단을 이해하고 조직의 지식과 경험으로 축적하는 일 역시 앞으로 더욱 중요해질 것입니다.

‍

기업은 이제 AI를 도입했다는 것 자체를 성과의 지표로 삼아서는 안 됩니다. 

토큰이 얼마나 늘어났는지보다 그 토큰이 업무 시간을 얼마나 줄였는지, 어떤 비용을 절감했는지, 매출과 고객 경험에 어떤 변화를 만들었는지를 봐야 합니다. 

‍

Agent 역시 몇 개를 만들었는지가 아니라 기업의 목표에 기여하고 있는지, 운영 비용을 감수할 만큼 충분한 가치를 만들고 있는지를 기준으로 관리해야 합니다. 

나아가 기업의 업무 경험과 판단이 AI를 통해 지속적으로 축적되고 발전할 수 있는 구조를 만드는 것 또한 앞으로 중요한 경쟁력이 될 것입니다.

‍

결국 AX의 승부는 토큰을 얼마나 많이 태웠는가가 아니라, 그 토큰을 어떤 비즈니스 가치로 전환했는가에서 결정됩니다. 

Vertical AI의 미래는 토큰을 얼마나 많이 사용하는지가 아니라, 기업만의 경험과 노하우를 어떻게 축적하고 지속 가능한  경쟁력으로 발전시켜 나가느냐에 달려 있습니다. 토큰 가치 최적화 게임은 바로 여기서 시작됩니다.

‍