이 기사는 11월 26일 오후 2시50분 '해외 주식 투자의 도우미' GAM(Global Asset Management)에 출고된 프리미엄 기사입니다. GAM에서 회원 가입을 하면 9000여 해외 종목의 프리미엄 기사를 보실 수 있습니다.

[서울=뉴스핌] 황숙혜 기자 = 구글의 TPU(Tensor Processing Unit, 텐서처리장치)가 엔비디아(NVDA)의 GPU(그래픽처리장치) 주도의 인공지능(AI) 칩 시장의 판도를 어디까지 흔들 수 있을까.

젠슨 황 엔비디아 최고경영자(CEO)는 소셜 미디어 X를 통해 자사 GPU가 구글의 AI 칩보다 한 세대 앞선다고 주장해 관심을 끌고 있다.

이에 대해 미국 금융 매체 포춘은 최근 빅테크들이 연이어 구글 TPU 채택을 저울질하자 엔비디아가 당혹감을 감추지 못하고 있다고 해석했다.

블룸버그는 구글의 TPU가 거대언어모델(LLM)을 학습, 운영하는 데 엔비디아의 GPU 기반의 AI 가속기와 경쟁할 만한 대안으로 부상하고 있다고 보도했다.

구글이 TPU를 만들어 낸 것은 약 10년 전이다. 검색 서비스의 기능을 강화하고, 효율성을 높이는 데 목적을 둔 칩이었다. 이후 업체는 머신러닝과 AI 용으로 TPU를 발전시켰다.

TPU는 행렬 곱셈 같은 딥러닝 핵심 연산에 특화된 AI 전용 칩이기 때문에 상대적으로 좁고 전문화된 용도에 맞춰졌고, 대신 전력 효율과 비용 측면에서 강점을 지닌 것으로 평가 받는다.

구글은 2013년부터 TPU를 개발해 검색과 클라우드, 제미나이(Gemini)를 포함한 자체 AI 모델에 접목했고, AI 팀의 피드백을 칩 설계에 반영하는 형태로 칩과 소프트웨어, AI 모델을 함께 진화시켰다.

알파벳 시가총액 추이 [자료=블룸버그]

업체는 최신 아이언우드(Ironwood) TPU가 수냉식, 추론에 최적화돼 있다고 밝혔다. 또 256개에서 9216개에 이르는 칩으로 구성된 거대한 팟(pod)으로 제공된다고 설명한다.

엔비디아의 GPU는 본래 게임 그래픽용으로 개발된 범용 병렬 연산 칩이고, 수 천 개의 코어로 여러 작업을 동시에 처리해 다양한 AI 작업에 유연하게 쓰인다는 강점을 지니고 있다.

작은 연산들을 대량으로 병렬 처리하는 능력을 강점으로 하는 GPU는 오늘날 AI와 잘 맞고, 엔비디아는 GPU를 CUDA라는 소프트웨어 플랫폼과 함께 묶어 거대한 생태계를 만들었다.

구글 TPU v4 팟 [사진=업체 제공]

삭소은행은 보고서를 내고 투자자 관점에서 두 가지 칩의 중요한 차이는 유연성과 통제력이라고 주장했다.

엔비디아의 GPU는 범용 가속기이기 때문에 여러 벤더에게서 구매해 여러 시스템에 탑재하고, 여러 프레임워크에서 쓸 수 있는 반면 TPU는 텐서플로(TensorFlow)나 JAX 등 구글 도구와 강하게 결합돼 있어 대부분 구글 클라우드 안에서 사용된다.

엔비디아는 칩을 판매하는 사업자인 데 반해 알파벳은 칩과 데이터센터, 클라우드 서비스를 모두 소유한 소위 '풀 스택' 사업자다. 고객들이 구글 클라우드 안에서 제3자의 GPU 대신 TPU를 선택하면 AI에 쓰이는 자금 중 더 많은 몫이 알파벳 안에 남게 되고, 이는 헤드라인 매출보다 수익성에 더 직접적인 영향을 미친다고 삭소은행은 설명한다.

투자자들의 관심은 알파벳의 TPU가 엔비디아의 GPU 독주를 무너뜨릴 수 있을 것인지 여부다. 삭소은행은 상당한 가능성을 실었다.

알파벳이 TPU 프로그램을 여러 세대에 걸쳐 발전시켰고, 특히 최신 TPU v5p는 대규모 모델 학습용 'AI 하이퍼컴퓨터'의 기반이 됐다. 아울러 아이언우드 TPU는 대량 추론을 빠르고 저렴하게 처리하는 데 강한 성능을 보인다.

업체는 TPU와 별도로 악시온(Axion)이라는 커스텀 Arm 기반 데이터센터 CPU도 만들었는데 두 가지를 함께 사용하면서 데이터센터 전체를 자체 설계 칩 중심으로 최적화할 수 있게 됐다. 엔비디아 뿐 아니라 인텔과 AMD(AMD) 등 외부 칩 업체에 대한 의존도를 낮췄다는 얘기다.

TPU v5e 인스턴스는 유사한 추론 솔루션 대비 달러 당 AI 성능이 약 4배까지 나오는 것으로 보고됐다. V6e 관련 사례에서는 엔비디아 GPU 기반에서 TPU로 옮긴 워크로드의 추론 비용이 50~65% 절감됐다는 보고도 나왔다.

삭소은행은 이번 보고서에서 "유연성을 중시하거나 TPU에 최적화되지 않은 소프트웨어 스택을 사용하는 업체들에게 엔비디아의 GPU가 여전히 '안전한 기본값'으로 남아 있어 엔비디아의 시대가 조만간 끝날 것으로 보기는 어렵다"며 "하지만 알파벳 뿐 아니라 아마존(AMZN)과 마이크로소프트(MSFT) 등 이른바 하이퍼스케일러들이 자체 가속기를 설계하면서 엔비디아에 대한 협상력이 커졌고, 자체 칩과 제3자 GPU 사이에서 워크로드를 조정하며 가격과 공급 측면에서 유리한 위치를 차지할 수 있게 됐다"고 전했다.

보고서는 또 "알파벳의 경우 검색과 지도, 유튜브, 포토, 제미나이 등 이미 거대한 제품군에 TPU를 접목했고, 이는 단순히 '새로운 비즈니스'가 아니라 기존의 해자를 더욱 깊게 만드는 효과를 내고 있다"며 "지난 3분기 워렌 버핏의 버크셔 해서웨이가 알파벳 주식을 매입한 것도 이 같은 맥락일 것"이라고 설명했다.

엔비디아에 드물게 '매도' 투자 의견을 제시한 씨포트증권의 제이 골드버그 애널리스트는 최근 보고서를 내고 "구글 TPU가 AI에 필요 없는 일반 기능을 칩에서 과감하게 덜어내 효율성을 높였다"며 "세대가 거듭되면서 성능과 전력 효율을 동시에 끌어올려 운영 비용을 낮췄다"고 호평했다.

보도에 따르면 오픈AI 공동 창업자 일리야 수츠케버가 만든 세이프 수퍼인텔리전스와 세일즈포스(CRM), 이미지 생성 서비스 미드저니, 생성형 AI 업체 앤스로픽 등이 TPU를 사용하고 있다.

특히 앤스로픽은 지난 10월 공개된 딜을 통해 최대 100만개 수준의 TPU에 접근할 수 있고, 1기가와트를 넘는 구글 컴퓨팅 파워를 제공받을 수 있게 됐다.

이어 메타 플랫폼스(META)가 2027년부터 데이터센터에 구글 TPU 사용을 논의중이라는 보도가 나오는 등 IT 업계에 TPU 채택이 확산되는 모양새다.

TPU를 사용하려면 구글 클라우드에서 연산 자원을 임대해야 하지만 앤스로픽 딜을 계기로 이른바 '네오 클라우드(소형 AI 클라우드)'로 확장될 가능성이 열렸다는 분석이 나온다.

고가의 가격 부담과 공급 불안정으로 인해 엔비디아의 GPU 의존도를 완화할 대안을 찾는 기업들에게 TPU가 매력적인 보완제라는 평가다.

블룸버그는 AI 칩 시장의 현실적인 시나리오로 알파벳의 TPU가 엔비디아의 GPU를 완전히 대체하기보다 바스켓의 한 축을 이루는 그림이 전개될 것으로 예상한다.

누구도 TPU를 포함한 다른 칩이 엔비디아의 GPU를 완전히 대체할 수 있다고 보지 않고, 구글 역시 같은 목소리를 낸다는 것. 모델과 알고리즘이 자주 바뀌는 환경에서 범용성이 높은 GPU가 여전히 더 유리하고, 젠슨 황의 주장대로 엔비디아가 '한 세대 앞서 있다'는 평가에 설득력이 실린다는 얘기다.

TPU의 가장 현실적인 위치는 AI 인프라 바스켓 안에서 중요한 한 축을 이루면서 특정 워크로드와 비용 구조 측면에서 강점을 살리며 성장하는 것이라고 블룸버그는 강조한다.

다만, 투자자 입장에서 엔비디아의 독점적 입지에 균열이 생기면서 성장이 둔화될 가능성이 지난 5년간 1241% 폭등한 주가에 부담으로 작용할 수 있다는 지적이다.

shhwang@newspim.com