340억 매개변수 'A.X 3.1', 허깅페이스 통해 오픈소스화
KMMLU·CLIcK서 90% 수준 성능…고효율·고성능 모두 충족
국내 대표 기업·대학과 컨소시엄 구성, 풀스택 AI 구현 추진
[서울=뉴스핌] 양태훈 기자 = SK텔레콤이 독자 기술로 개발한 340억 매개변수 규모의 언어모델 'A.X 3.1'을 오픈소스로 공개하며, 국내 AI 생태계를 겨냥한 초거대 AI 모델 경쟁에 본격 뛰어들었다.
24일 SK텔레콤은 오픈소스 커뮤니티 '허깅페이스(Hugging Face)'에 자체 구축한 초거대 언어모델(LLM) 'A.X(에이닷 엑스) 3.1'을 공개했다고 밝혔다.
340억 개의 매개변수(parameter)를 가진 'A.X 3.1'은 SK텔레콤이 처음부터 끝까지 직접 개발·학습한 프롬 스크래치(From Scratch) 방식의 모델이다. 이전 버전인 'A.X 3.0'이 한국어 대화 성능에 집중했다면, 이번 'A.X 3.1'은 코드와 수학 문제 해결 성능을 크게 개선하며 추론모델로의 확장 가능성을 높였다.
 |
| 사진은 A.X 4.0의 대규모 학습(Continual Pre-Training, CPT)을 진행한 SK텔레콤 자체 구축 슈퍼컴퓨터 '타이탄'. [사진=SK텔레콤] |
SK텔레콤은 이번에 A.X 3.1 모델 2종(표준형, 경량형)과 함께, CPT(Continual Pre-Training) 방식으로 학습한 A.X 4.0 모델 2종까지 총 4종의 모델을 오픈소스로 공개했다. 해당 모델들은 학술 연구와 상업 목적 모두에 자유롭게 활용할 수 있다.
특히 A.X 3.1(34B)은 자사 대형 모델 A.X 4.0(72B) 대비 절반 이하 규모의 매개변수만으로도 한국어 기반 서비스에서 약 90% 수준의 성능을 발휘하는 것이 특징이다. KMMLU 기준 A.X 3.1은 69.2점을, A.X 4.0은 78.3점을 기록했으며, CLIcK 벤치마크에서는 각각 77.1점과 85.7점을 받아 A.X 3.1이 90% 이상 성능을 보였다.
SK텔레콤은 이번 기술력을 바탕으로 과학기술정보통신부가 주관하는 '독자 AI 파운데이션 모델 사업'에 컨소시엄 형태로 지원했다. 해당 컨소시엄은 반도체, 모델, 데이터, 서비스를 아우르는 '풀스택 AI'를 구축해, 다양한 국내 기업에 개방형으로 제공하는 것을 목표로 한다.
컨소시엄에는 크래프톤, 포티투닷, 리벨리온, 라이너, 셀렉트스타 등 다양한 산업의 기업과 서울대·KAIST 등 연구기관이 함께 참여한다. 또한 SK하이닉스, SK이노베이션, SK브로드밴드, SK AX는 물론 AI 얼라이언스 참여 기업인 몰로코, 씨메스, 가우스랩스, 스캐터랩 등이 AI 모델 사용 의향서를 제출한 상태다.
SK텔레콤은 이를 기반으로 대한민국을 대표하는 초거대 AI 모델을 개발하고, 텍스트뿐만 아니라 이미지·음성·영상 등 다양한 데이터를 통합 처리할 수 있는 '옴니모달' 기술 적용도 추진 중이다. 아울러 기존 트랜스포머를 뛰어넘는 차세대 모델 구조 연구도 함께 진행할 계획이다.
김태윤 SK텔레콤 파운데이션 모델 담당은 "각 분야 선도기업들과의 협업을 통해 소버린 AI 영역에서 새로운 성과를 창출할 것"이라며 "국내 AI 생태계를 고려해 혁신적인 인공지능 모델을 선보일 예정"이라고 전했다.
dconnect@newspim.com
