사진=연합뉴스


엔비디아와 구글의 인공지능(AI) 칩 경쟁에 불이 붙었다. 구글은 25일(현지시간) 자사 블로그에 “경쟁사들이 외부 공급 업체에 의존할 때 구글 딥마인드는 제미나이 개선을 위해 우리의 텐서처리장치(TPU) 엔지니어와 직접 협업한다”고 올렸다. 글로벌 AI산업에 만연한 과도한 엔비디아 그래픽처리장치(GPU) 의존 현상을 직격한 것이다. 엔비디아는 같은 날 X(옛 트위터)를 통해 “구글의 성공을 기쁘게 생각한다”면서도 “엔비디아만이 한 세대 앞선 유일한 플랫폼”이라고 반박했다. 
구글이 자체 설계한 AI 칩인 TPU의 바다이야기릴게임 ‘파괴력’에 관심이 집중되고 있다. 제미나이 3가 오픈AI의 최신형 챗GPT를 성능 면에서 앞선다는 평가가 나오면서다. 엔비디아(AI 칩 공급)-오라클(AI 클라우드 등 인프라 제공)-오픈AI(칩과 인프라 구매)로 이어지는 GPU 진영의 아성이 흔들릴 것이라는 분석이 나온다.
TPU의 부상은 데이터와 컴퓨팅 파워만으로 AI 모델 성능이 릴게임바다이야기 향상된다는 ‘스케일링 법칙’이 한계에 다다른 것과 연결돼 있다. 이를 극복하기 위해 구글은 일종의 ‘오픈북’과 비슷한 추론 AI 모델을 강화하는 데 총력을 기울여 왔다. 질문을 받으면 사전 학습한 데이터 외에 AI가 스스로 웹 검색, 코딩 등을 통해 최적의 답변을 내놓는 방식이다. 이를 가능케 한 AI 칩이 TPU다.
구글 출신인 이재욱 릴게임오션파라다이스 서울대 컴퓨터공학부 교수는 “구글은 검색엔진, 유튜브 등 자체 서비스에 TPU를 10년 이상 적용하면서 자신감을 얻었다”며 “구글 클라우드 등 외부 고객 사용 AI 서비스에도 서서히 TPU 적용을 확대하려 할 것”이라고 분석했다. AI 엔지니어용 개발 플랫폼인 쿠다(CUDA)로 GPU 공급처를 무한 증식한 엔비디아에 맞서 자체 데이터와 AI 칩으로 무장한 오리지널바다이야기 반(反)엔비디아 진영이 역습 기회를 잡았다는 평가가 나온다. 구글 모기업 알파벳 주가는 올 들어 70% 폭등해 엔비디아의 시가총액 1위 자리를 위협하고 있다.
 GPU vs TPU 'AI 패권전쟁'…칩 제조 삼성·하이닉스는 웃는다 구글발 AI칩 '춘추전국시대', AI칩 열쇠 '제조 공급망'이 쥐어
구글의 텐서처리장치(TP 바다이야기무료 U) 확대는 ‘탈(脫)엔비디아’를 향한 노골적이고 강력한 신호탄이다. 자체 인공지능(AI) 칩으로 추론에서만큼은 엔비디아를 꺾을 만한 강력한 가격 경쟁력을 지녔다고 판단해 아예 판매에 나선 것으로 풀이된다. 구글의 진격으로 다른 AI 빅테크들까지 자체 칩 개발에 속도를 내면서 앞으로 삼성전자, SK하이닉스, TSMC 등 제조 공급망의 존재감이 더욱 커질 것으로 예상된다.



 ◇ “추론 AI의 시간이 왔다”
그간 구글은 엔비디아의 독점을 깨기 위해 호시탐탐 기회를 엿봤다. 이들의 문제의식은 ‘언제까지 비싸고 전력이 많이 드는 엔비디아 칩에 의존해야 하는가’였다. 엔비디아의 그래픽처리장치(GPU)는 대규모 데이터 학습을 위한 ‘훈련’에 강하다. 그러나 학습된 AI 모델을 여러 갈래로 응용하는 추론에서는 비효율적이라는 지적에서 벗어날 수 없었다. 저전력으로 정밀한 연산을 해야 하는 추론에서 활용하기에는 너무 많은 비용이 든다는 것이다.
TPU는 AI 모델 구동에 특화된 반도체다. 범용 GPU에서 불필요한 것은 걷어내고, AI 연산을 위해 유닛(MAC) 10만 개 이상을 격자 구조로 배치한 것이 특징이다. 구글은 검색엔진·유튜브 등 1P(자체) 서비스에 TPU를 약 10년간 적용하며 칼을 갈았다. 2023년엔 5세대 TPU가 엔비디아 ‘A100’ 대비 비용 효율성이 2~4배 높다고 자평하기도 했다. 다만 구글 클라우드를 이용하는 외부 고객엔 GPU를 제공해야 했다.
구글이 ‘본색’을 드러낸 것은 올해부터다. 8월 미국에서 개최된 반도체 관련 학회 자료에 따르면 올해 출시한 7세대 칩은 5세대 제품보다 전력당 성능이 5배 이상 개선된 와트(W)당 29.3테라플롭스를 기록했다. 게다가 구글은 ‘알파칩’이라는 AI 소프트웨어로 TPU를 설계해 엔비디아보다 저렴한 칩을 만들 수 있다고 주장했다.
메타가 구글 TPU를 데이터센터에 적용할 것이라는 소식이 전해지는 등 구글은 TPU의 외연 확장에 나서고 있다. 구글은 한발 더 나아가 엔비디아가 점령하고 있는 피지컬 AI 시장에도 진입하기 위해 준비 중이다. 지난달 ‘코랄 NPU’라는 에지디바이스 AI용 저전력 가속기를 소개했다. 반도체업계 관계자는 “젯슨 등으로 로봇 시장 GPU까지 점령한 엔비디아를 흔들겠다는 의도가 깔려 있다”고 말했다.
 ◇ AI 칩 ‘춘추전국시대’
구글이 ‘탈엔비디아’ 깃발을 본격적으로 든 것은 엔비디아뿐만 아니라 또 다른 AI 빅테크들의 자존심을 건드린 사건이다. 이미 자체 AI 추론 칩을 개발하고 있던 메타, 아마존, 오픈AI 등은 연구개발(R&D) 속도를 더욱 올릴 것으로 예상된다.
반도체업계에선 이 같은 경쟁이 AI 칩 수요를 폭발시킬 것으로 예상한다. 전력을 덜 소모하면서 가격도 저렴한 AI 칩에 대한 희망이 생겨서다. 이는 삼성전자 등 반도체 제조사에 호재로 작용할 전망이다. 공급망 이슈가 발생할 수밖에 없어서다. 칩 제조 공급망은 설계→칩 제조→후공정으로 이어진다. 지금까지는 칩 설계 단계에서 엔비디아가 독보적 위치를 점하면서 엔비디아 일변도의 공급망이 형성됐다.
설계 회사가 늘어난다면 칩 제조 라인과 공급망이 분산돼 병목 현상이 심화할 가능성이 농후하다. 이런 현상은 삼성전자, SK하이닉스 등 한국 반도체 회사들에 더없이 좋은 기회다. 삼성전자와 SK하이닉스는 D램에서 세계 70% 이상의 점유율을 확보하고 있다. 저전력 칩 수요가 폭발하면서 고대역폭메모리(HBM)뿐만 아니라 저전력(LPDDR) D램, 그래픽(GDDR) D램 등 다양한 범용 D램을 AI 칩에 도입하기 위한 노력도 이어지고 있다. 반도체업계 관계자는 “샘 올트먼 오픈AI 최고경영자(CEO)가 지난달 한국을 찾아 월 90만 개 규모의 메모리 반도체 공급을 논의한 것은 이런 흐름을 반영한 것”이라고 설명했다.
자체 AI 칩을 설계한 빅테크들이 업계 2위인 삼성전자 파운드리 사업부의 문을 두드릴 것이라는 전망도 나온다. 7월 삼성전자 파운드리 사업부가 테슬라에서 23조원 규모의 AI 칩 생산 수주를 따낸 것이 이 같은 가능성에 무게를 싣는다. 또 다른 반도체업계 관계자는 “원가 폭등이 2년 넘게 계속되면 고객사들은 대안을 찾기 시작한다”며 “구글 TPU의 부상은 AI 칩 시장이 설계 주도에서 제조 주도로 바뀔 수 있다는 신호”라고 해석했다.
강해령 기자/실리콘밸리=김인엽/강경주 기자



▶TPU
Tensor Processing Unit. 구글의 인공지능(AI) 특화 반도체다. 값비싼 범용 AI 칩인 그래픽처리장치(GPU)와 달리 추론 등 AI 서비스 전용으로 개발해 전력 효율이 높은 것이 특징이다. 기자 admin@slotmega.info