AI 핵심 요약
beta- BC카드가 19일 AI 경량화 기술을 개발해 적용했다.
- 양자화로 모델 용량을 69% 줄이고 속도는 3배 높였다.
- BCGPT·MOAI에 적용해 보안과 비용도 개선했다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
[서울=뉴스핌] 박가연 기자 = BC카드가 인공지능(AI) 모델 크기를 줄이면서 업무 처리 속도는 3배 가까이 향상시킨 기술을 개발해 실제 서비스에 적용했다고 19일 밝혔다.
최근 AI 업계에서 연산 부담을 줄이는 경량화 기술이 주목받고 있다. 대규모언어모델(LLM)은 파라미터가 증가할수록 고성능 GPU 메모리와 운용 비용이 늘어나기 때문이다.
이에 BC카드는 정밀도를 16비트에서 4비트로 낮추는 '양자화' 기술을 적용해 모델 용량과 연산 부담을 대폭 줄였다.
310억 개의 파라미터를 가진 AI 모델에 해당 기술을 적용한 결과 용량이 62.5GB에서 19.5GB로 69% 감소했다. 동일 GPU 환경에서 초당 한국어 생성 처리량은 205토큰에서 530토큰으로 늘었으며 평균 응답 시간은 24초에서 9초로 단축됐다.
용량은 줄었으나 평가 결과 원본 대비 98.7% 수준의 성능을 유지한 것으로 나타났다. BC카드는 과학기술정보통신부 주관 'K-AI 리더보드' 한국어 평가 대형 모델 부문 종합 10위에 올랐으며 등재 모델 중 4비트 양자화를 명시한 곳은 BC카드가 유일하다.
기술 개발 과정에서 확보한 한국어 성능 저하 방지 관련 기술 2건에 대한 특허 출원 절차도 진행 중이다. 해당 기술은 언어적 특성을 반영해 압축 기준과 강도를 조정하는 방식이다.
BC카드는 지난 7월부터 사내 금융 특화 생성형 AI 플랫폼인 'BCGPT'와 'MOAI'에 경량화 모델을 적용했다. 적용 결과 GPU 한 대당 동시 처리 가능 업무량이 늘어났다. 서버용 고성능 GPU뿐만 아니라 일반 PC급 GPU에서도 운용이 가능해 추가 장비 투자 부담을 낮췄으며, 사내 자체 인프라에서 데이터가 처리되어 금융 보안 환경에도 적합하다는 평가다.
오성수 BC카드 상무는 "AI 모델의 성능을 유지하며 비용과 속도를 개선하는 것이 핵심"이라며 "경량화 기술을 적극 활용해 효율적인 AI 환경을 구축하는 데 기여하겠다"고 말했다.
eoyn2@newspim.com
