[서울=뉴스핌] 이나영 기자 = AI 모델 경량화 기업 노타가 제주에서 열린 한국컴퓨터종합학술대회(KCC 2026)에서 온디바이스 AI 최적화 경진대회를 개최했다고 29일 밝혔다.

회사에 따르면 이번 경진대회는 노타의 AI 최적화 플랫폼 넷츠프레소를 활용해 온디바이스 환경에서 AI 모델의 실행 효율을 높이는 것을 목표로 마련됐다. 넷츠프레소는 AI 모델을 다양한 하드웨어 환경에 맞춰 최적화해 제한된 자원에서도 안정적으로 구동할 수 있도록 돕는 기술이다.

생성형 AI가 다양한 디바이스와 산업 현장으로 확산되면서 AI 모델을 실제 환경에 맞춰 효율적으로 구동하는 소프트웨어 역량의 중요성이 높아지고 있다. 참가자들은 노타가 제공한 기본 AI 최적화 환경을 바탕으로 온디바이스 환경에서 AI 모델이 더 빠르고 가볍게 작동할 수 있도록 성능 개선을 수행했다.

우승은 중앙대학교 '에코프루너' 팀이 차지했다. 에코프루너 팀은 소형 디바이스에서 대규모언어모델(LLM)을 더 효율적으로 구동하는 최적화 방식을 제안했으며, AI 모델의 토큰당 응답 지연시간을 약 6.7배 개선하고 첫 응답이 나오기까지 걸리는 시간은 약 4.0배 단축시켰다. 메모리 사용량은 약 85% 절감했으면서도 품질 지표는 기존 수준을 유지했다. 최우수상은 성균관대학교 '팀 아이리스'가, 우수상은 'DKE'와 '감자밭' 2개 팀이 각각 수상했다.

노타는 경진대회 외에도 KCC 2026 현장에서 채용 부스를 운영하며 AI 최적화 기술에 관심 있는 연구자와 개발자들을 만났다. 학회 기간 동안 노타 부스에는 온디바이스 AI와 AI 최적화 기술에 관심을 가진 다수의 방문객이 이어졌으며, 특별 강연 등 부대 행사를 통해 기술의 산업적 활용 가능성을 소개했다.

김태호 노타 CTO 및 공동창업자는 "이번 경진대회는 참가자들이 넷츠프레소를 기반으로 AI 최적화의 전 과정을 직접 경험하고 실제 실행 환경에서 의미 있는 성능 개선을 만들어냈다는 점에서 의미가 크다"며 "노타는 앞으로도 개발자와 연구자들이 다양한 하드웨어 환경에서 AI 모델을 더 쉽고 효율적으로 최적화할 수 있도록 지원하고 온디바이스 AI 생태계 확산에 기여하겠다"고 밝혔다.

nylee54@newspim.com