AI 핵심 요약
beta- SK그룹과 KT가 16일 AI 시대 경쟁 기준을 토큰 생산성 중심으로 재편하겠다고 밝혔다.
- AI 서비스 확산으로 같은 GPU·전력으로 더 많은 토큰을 낮은 비용에 처리하는 능력이 기업 수익성을 좌우하게 됐다.
- 엔비디아 등 글로벌 업계도 초당·와트당·100만개당 토큰 비용을 핵심 지표로 삼으며 추론 효율을 새 경쟁축으로 제시했다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
SK, HBM부터 AIDC까지 '토큰 생산성' 높이기 총력
엔비디아도 토큰 처리량·전력 효율 중심으로 경쟁 재편
[서울=뉴스핌] 서영욱 기자 = 인공지능(AI) 산업의 경쟁축이 모델 성능에서 '토큰 생산성'으로 이동하고 있다. AI 서비스 확산으로 추론(Inference) 비용이 기업 수익성을 좌우하면서 같은 그래픽처리장치(GPU)와 전력으로 얼마나 많은 토큰을 처리하느냐가 새로운 경쟁력으로 떠올랐다.
최태원 SK그룹 회장이 최근 "더 적은 비용으로 더 많은 토큰을 생산해야 한다"고 강조한 것도 AI 산업의 이 같은 변화와 맞닿아 있다.
◆ AI 경쟁의 새 기준 '토큰 경제'
16일 관련 업계에 따르면 최태원 SK그룹 회장은 최근 미국 테크 전문 플랫폼 '식스파이브미디어(The Six Five Media)'와의 인터뷰에서 "더 낮은 비용으로 운영하면서 더 효율적으로 토큰을 생성할 수 있는 새로운 AI 데이터센터를 만드는 데 집중하려 한다"고 밝혔다.
AI 데이터센터의 경쟁력을 서버 규모나 GPU 보유 대수가 아니라 토큰 생성 효율로 설명한 것이다.
최 회장은 인터뷰에서 정부가 추진하는 '3대 메가 프로젝트'의 일환으로 약 1000조원을 투자해 총 15GW(기가와트) 규모의 AI 데이터센터를 단계적으로 구축하는 계획도 소개했다.
KT도 AI 시대의 새로운 경제 단위로 '토큰'을 제시하며 관련 사업을 전면에 내세웠다. 박윤영 KT 대표는 지난 6일 취임 100일 기자간담회에서 "AI 시대의 새로운 경제 단위는 토큰"이라며 '토큰 팩토리(Token Factory)'를 대표적인 AI 전환(AX) 사업 모델로 육성하겠다고 밝혔다.
AI 서비스 이용량에 따라 토큰의 생성과 사용량 관리, 과금, 보안 등을 통합 지원하는 플랫폼을 구축하겠다는 전략이다.
◆학습에서 추론으로…AI 수익공식이 바뀌다
생성형 AI 시장 초기에는 더 큰 거대언어모델(LLM)을 개발하고 더 많은 데이터를 학습시키는 것이 경쟁력으로 평가됐다. 막대한 학습 비용을 감당해 성능이 뛰어난 모델을 확보하는 것이 AI 기업의 핵심 과제였다.
그러나 생성형 AI가 검색과 코딩, 고객 상담, 업무 자동화 등 실제 서비스로 빠르게 확산하면서 경쟁 구도도 달라지고 있다.
모델 학습은 개발 단계에서 집중적으로 이뤄지는 반면 추론은 이용자가 질문하거나 서비스를 사용할 때마다 반복된다. 서비스 이용자가 늘어날수록 처리해야 할 토큰과 필요한 연산 자원도 함께 증가한다.
이에 AI 기업의 수익성은 모델의 성능뿐 아니라 추론 과정에 들어가는 비용에 더욱 크게 영향을 받게 됐다. 경쟁의 초점도 '누가 같은 GPU와 전력으로 더 많은 토큰을 더 낮은 비용에 처리하느냐'로 옮겨가고 있다.
◆ 같은 GPU로 더 많이…토큰 생산성이 수익성 좌우
토큰은 생성형 AI가 문장을 이해하고 답변을 만드는 최소 처리 단위다. 이용자가 챗GPT나 클로드 등에 질문을 입력하면 AI는 문장 전체를 한꺼번에 생성하는 것이 아니라 토큰을 순차적으로 계산해 답변을 완성한다.
가령 AI 서버 한 대를 1시간 운영하는 데 GPU 사용료와 전기료, 냉각비 등을 포함해 100만원이 들고, 해당 서버가 같은 시간 동안 100만개의 토큰을 처리한다면 토큰당 비용은 1원이다.
그러나 고대역폭메모리(HBM) 성능 향상과 GPU 최적화, 추론 소프트웨어 개선으로 처리량을 200만개까지 늘리면 운영비가 같아도 토큰당 원가는 0.5원으로 낮아진다.
같은 인프라로 더 많은 토큰을 처리할수록 AI 서비스를 제공하는 기업의 원가는 낮아지고 수익성은 높아지는 구조다.
AI 기업들이 토큰 처리 효율을 높이기 위해 반도체와 데이터센터, 소프트웨어에 대규모 투자를 이어가는 이유도 여기에 있다.
SK하이닉스가 HBM 성능을 지속적으로 개선하는 것은 GPU와 메모리 사이의 병목 현상을 줄여 토큰 처리 속도를 높이기 위해서다. SK텔레콤이 AI 데이터센터와 GPU 클러스터 투자를 확대하는 것도 토큰 생산 비용을 낮추기 위한 기반 구축으로 볼 수 있다.
◆ 엔비디아도 '토큰 지표' 전면에
최 회장이 강조한 토큰 생산성은 글로벌 AI 인프라 시장의 흐름과도 맞닿아 있다.
엔비디아는 AI 인프라의 주요 성능 지표로 초당 토큰 처리량(Tokens Per Second), 와트당 토큰 처리량(Tokens Per Watt), 100만 토큰당 비용(Cost per Million Tokens) 등을 제시하고 있다.
GPU의 단순 연산 성능을 넘어 동일한 전력과 시스템으로 얼마나 많은 토큰을 생성하고, 이를 얼마나 낮은 비용으로 서비스할 수 있는지가 AI 인프라의 경쟁력을 결정한다는 의미다.
반도체 업계 관계자는 "AI 모델 간 성능 격차가 점차 줄어들면 추론 효율과 토큰당 비용이 기업 경쟁력을 가르는 핵심 요소가 될 것"이라며 "결국 AI 기업의 승부는 같은 인프라로 얼마나 많은 토큰을 낮은 비용에 처리할 수 있느냐에서 갈릴 것"이라고 말했다.
syu@newspim.com
