AI 핵심 요약
beta- 노타가 6일 문샷AI 키미 K3를 경량화해 GPU 사용을 최대 50% 줄였다고 밝혔다다
- 비균일 전문가 프루닝으로 중요 모듈만 남겨 층별로 다르게 제거해 성능 저하를 최소화했다
- 경량화로 B300 GPU를 8장서 최대 4장으로 줄였고 주요 벤치마크 성능도 기존 방식보다 더 잘 유지했다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
[서울=뉴스핌] 이나영 기자= 인공지능(AI) 모델 경량화 기업 노타가 문샷AI의 초거대 AI 모델 '키미 K3'를 경량화해 구동에 필요한 그래픽처리장치(GPU) 수를 최대 50% 줄였다고 6일 밝혔다.
회사에 따르면 2조8000억 개의 매개변수를 갖춘 키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택했다. 높은 성능을 유지하려면 엔비디아의 최신 고성능 GPU인 B300 8장이 필요해 기업과 개발자의 인프라 비용 부담이 컸다.
노타는 자체 개발한 '비균일 전문가 프루닝' 기술을 적용해 이 문제를 해결했다고 설명했다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다. 기존 방식처럼 모든 층을 동일 비율로 줄이는 대신 층별 제거 비율을 다르게 적용해 성능 저하를 최소화했다.
노타는 키미 K3의 전문가 모듈을 각각 25%, 50% 줄인 경량화 모델 2종을 공개했다. 모델 구동에 필요한 B300 GPU 수는 기존 8장에서 각각 6장과 4장으로 감소했다. 50% 경량화 모델은 동일 비율로 제거하는 기존 방식보다 대다수 벤치마크에서 더 높은 성능 보존율을 기록했으며, 고난도 과학·추론 능력을 평가하는 GPQA-Diamond 점수는 2.52점, 사용자 지시 수행 능력을 평가하는 IFEval 점수는 2.22점 높았다.
노타는 앞서 허깅페이스에 공개한 업스테이지 '솔라 오픈2' 경량화 모델이 공개 2주 만에 누적 다운로드 6만8000회를 기록한 바 있다.
김태호 노타 최고기술책임자는 "프론티어급 모델인 키미 K3까지 성공적으로 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다"며 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.
nylee54@newspim.com
