AI 핵심 요약
beta- 노타는 16일 두베와 금융권 온프레미스 AI 코딩 에이전트 공급 계약을 체결했다
- 노타는 LLM·추론·서빙 최적화와 서버 구성을 통합해 납품했다
- 동일 GPU 환경에서 처리 요청은 최대 95% 늘고 대기시간은 절반 이하로 줄었다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
[서울=뉴스핌] 이나영 기자= AI 추론 효율화 기업 노타가 금융 IT 기업 두베와 금융권 특화 온프레미스 AI 코딩 에이전트용 최적화 LLM 및 서버 공급 계약을 체결하고 납품을 완료했다고 16일 밝혔다.
이번 계약은 AI 모델 경량화부터 추론·서빙 환경 최적화, 서버 구성까지 통합 공급하는 것을 골자로 한다. 노타는 두베의 AI 코딩 에이전트에 맞춰 최적화를 진행했으며, 동일한 GPU 환경에서 분당 처리 요청 수를 최대 95% 높이고 첫 답변 대기시간을 절반 이하로 단축했다.
회사에 따르면 두베는 금융권 SI 개발 사업 전문 기업으로 금융기관에 AI 코딩 에이전트를 공급하고 있다. 두베의 코딩 에이전트는 개발 요건 분석부터 화면, 인터페이스 등 개발 관련 전 업무를 지원하며 고객사의 개발 환경에 맞춘 코딩 규칙과 사내 라이브러리를 반영할 수 있다.

금융권은 소스코드와 내부 업무 정보의 외부 전송을 제한하는 폐쇄망을 이용해야 해 클라우드 기반 AI 코딩 도구 도입에 제약이 있다. 노타와 두베가 제공하는 온프레미스 AI 코딩 에이전트는 고객사 내부 서버에서 LLM을 실행하는 방식으로, 외부 AI API 호출 없이도 AI 기반 개발 업무를 지원한다. 이를 통해 기업은 민감한 개발 정보를 내부 환경에서 관리하면서 AI 코딩 도구를 활용할 수 있다.
노타는 양자화 기술로 LLM의 메모리 요구량을 줄이고, 답변을 생성하는 추론 과정과 여러 요청을 처리하는 서빙 환경을 함께 최적화했다. 최적화 결과 동일한 GPU 구성에서 분당 처리 요청 수가 약 58~95% 증가했으며 첫 토큰 생성까지의 대기시간은 절반 이하로 줄었다. 이는 동일한 하드웨어 자원으로 더 많은 동시 요청을 처리하고 사용자 응답 대기시간을 줄일 수 있음을 의미한다.
채명수 노타 대표는 "기업용 AI 에이전트 시장이 확대되면서 제한된 GPU 자원에서 얼마나 많은 요청을 안정적으로 처리할 수 있는지가 실제 도입 비용과 운영 효율을 결정하는 핵심 요소가 되고 있다"며 "이번 계약은 노타의 AI 모델 경량화 및 추론·서빙 최적화 기술을 실제 기업용 AI 애플리케이션과 결합해 공급한다는 점에서 의미가 크다"고 말했다.
채 대표는 "금융권처럼 보안과 인프라 운영 제약이 높은 환경에서도 AI 에이전트를 효율적으로 활용할 수 있도록 지원하고, 다양한 산업 파트너들과 협력해 최적화 소프트웨어 및 AI 실행 환경 공급 사업을 확대해 나가겠다"고 덧붙였다.
nylee54@newspim.com












