[베이징=뉴스핌] 조용성 특파원 = 화웨이(華爲)가 AI 칩셋에서 HBM(고대역폭 메모리) 의존도를 대폭 낮추는 솔루션을 발표했다. 화웨이는 이를 오픈 소스로 공개한다는 방침이다.
화웨이는 12일 중국에서 개최된 '금융 AI 추론 응용 발전 포럼'에서 AI 추론 영역에서 혁신적인 기술 성과를 발표했다고 중국 커촹반(科創板)일보가 13일 전했다.
해당 솔루션은 UCM(Unified Cache Manager)이라는 이름을 갖고 있다. UCM은 추론 메모리 데이터 관리 프로그램으로, 대형 언어 모델에서 구동되는 AI 추론 과정에서 발생하는 KV(키 밸류) 캐시와 같은 메모리 데이터를 효율적으로 관리해주는 소프트웨어 솔루션이다.
KV 캐시는 중간 계산 결과로 이는 HBM에 대부분 저장된다. 하지만 화웨이가 개발한 UCM은 KV 캐시를 GDDR, DDR, SSD 등에 분산 관리하고 필요한 데이터만을 HBM에 올려 사용하도록 한다.
이와 같은 방식으로 AI 가속기가 HBM에 대한 의존도를 획기적으로 낮출 수 있다는 설명이다. 현재 중국에서는 GPU를 만들 수 있는 업체는 여럿 존재하지만 HBM을 만들 수 있는 업체는 CXMT(창신춘추, 長鑫存儲) 한 업체뿐이며, CXMT는 현재 구형 HBM만을 만들 수 있을 뿐이다.
화웨이는 현재 중국 유니온페이와 협력해 UCM 기술 시범 응용을 진행하고 있다. 유니온페이의 '고객의 소리' 항목에 해당 기술이 적용됐으며, UCM을 구동시킨 결과 추론 속도가 125배 향상됐다.
화웨이는 다음 달 UCM을 공식적으로 오픈 소스화할 계획이다. 전 세계 업계 모두에게 솔루션을 무료로 공개할 방침이다.
오픈 소스 공개로 인해 화웨이는 생태계 확장, 표준 주도권 확보, HBM 부족 시장 침투 가속화 등의 효과를 얻을 것으로 관측된다.
한편 미국은 중국에 대해 HBM 수출을 금지하고 있으며, 이로써 삼성전자, SK하이닉스, 마이크론은 중국 업체에 HBM을 수출할 수 없는 상황이다. 이에 중국 정부 관리들은 최근 미국에 HBM에 대한 수출 통제를 완화해 줄 것을 요청한 것으로 나타났다.
ys1744@newspim.com
