AI 핵심 요약
beta- 노타가 20일 업스테이지 컨소시엄의 독파모 3차수 진출을 지원했다고 밝혔다.
- 솔라 오픈 2를 H100 8장서 2장으로 줄여 구동하도록 경량화했다.
- 가중치 메모리를 76.5% 줄였고 허깅페이스 누적 8만건을 기록했다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
[서울=뉴스핌] 이나영 기자= 인공지능(AI) 모델 경량화 기업 노타가 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에 참여한 업스테이지 컨소시엄의 3차수 진출을 지원한다고 20일 밝혔다.
노타는 업스테이지 컨소시엄에서 AI 파운데이션 모델 '솔라(Solar)' 계열이 국내 인프라 환경에서 효율적으로 구동될 수 있도록 경량화와 최적화를 담당하고 있다. 모델 성능을 유지하면서 연산 자원과 메모리 사용량을 줄여 다양한 하드웨어와 서비스 환경에 적용할 수 있도록 지원한다.
회사에 따르면 노타는 업스테이지의 AI 파운데이션 모델 '솔라 오픈 2'의 경량화 모델을 글로벌 AI 플랫폼 허깅페이스에 공개했다. 기존에는 엔비디아 H100 GPU 8장이 필요했던 모델을 2장으로도 구동할 수 있도록 최적화했다.
모델 가중치를 INT4 또는 NVFP4 기반의 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리하는 경량화 기술을 적용한 결과다. 가중치 저장에 필요한 메모리를 500.6GB에서 117.8GB로 76.5% 줄였다. 해당 모델은 허깅페이스에서 누적 다운로드 8만건을 기록했다.
'솔라 오픈 2'는 2500억개의 매개변수를 갖춘 글로벌 수준의 AI 모델이다. 이번 최적화는 모델 성능을 유지하면서 필요한 GPU 수를 4분의 1 수준으로 줄여 기업의 도입 부담을 낮추고 실제 서비스 적용 가능성을 높였다.
지난 18일 진행된 독파모 2차 평가에서는 업스테이지와 SK텔레콤, LG AI연구원 3개 컨소시엄이 3차수 진출팀으로 선정됐다. 업스테이지 컨소시엄은 국내 플랫폼과 연계한 국민 체감형 서비스를 구현하고 퓨리오사AI의 NPU를 활용함으로써 국산 AI 소프트웨어와 하드웨어 생태계의 결합 가능성을 제시했다.
채명수 노타 대표는 "국가대표 AI 모델이 다양한 산업 현장에서 비용 효율적으로 활용될 수 있도록 최적화 기술을 지속적으로 고도화할 것"이라며 "업스테이지와 함께 독파모 3차수 평가에서도 좋은 성과를 거둘 수 있도록 최선을 다하겠다"고 말했다.
nylee54@newspim.com
