AI 핵심 요약
beta- KAIST 김민수 교수팀이 4일 AI 생성 SQL 오류만 고치는 SafeQL을 개발했다.
- SafeQL은 실행 오류를 최대 87.4% 해결하고 수정 시간을 크게 줄였다.
- 전체 재생성 대신 부분 수정해 토큰 사용량과 비용을 낮췄다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
BIRD 벤치마크서 실행 오류 87.4% 해결
토큰 최대 15.1배·시간 29.6배 절감
[세종=뉴스핌] 이경태 기자 = 한국과학기술원(KAIST)은 전산학부 김민수 교수 연구팀이 인공지능(AI)이 생성한 데이터베이스 검색 명령어(SQL)의 오류를 전체 재생성 없이 잘못된 부분만 찾아 수정하는 기술 '세이프큐엘(SafeQL)'을 개발했다고 4일 밝혔다.
이 기술은 국제 벤치마크 평가에서 AI가 처음 만든 SQL의 실행 오류를 최대 87.4% 해결했다. 기존 방식과 비교해 AI 토큰 사용량은 최대 15.1배, 오류 수정 시간은 최대 29.6배 줄었다.
Text-to-SQL은 "지난해 매출이 가장 많이 늘어난 상품은?"과 같이 일상적인 문장으로 질문하면 AI가 이를 SQL로 변환해 데이터베이스에서 필요한 정보를 찾아주는 기술이다. 복잡한 컴퓨터 명령어를 몰라도 자연어로 데이터를 조회할 수 있어 기업의 AI 업무비서 등에 활용되고 있다.
다만 AI가 SQL을 생성하는 과정에서 데이터베이스에 실제로 없는 테이블이나 항목명을 잘못 사용하거나 자료를 잘못 연결하는 오류가 발생하면 명령이 실행되지 않는 문제가 있었다. 기존에는 이런 오류가 발생하면 오류 내용을 대형언어모델(LLM)에 다시 전달해 SQL 전체를 새로 생성하는 방식을 사용했다. 이 과정에서 이미 정확했던 부분까지 바뀌거나 새로운 오류가 생길 수 있고, 반복적인 AI 호출로 비용과 시간이 늘어나는 한계가 있었다.
연구팀이 개발한 SafeQL은 SQL 전체를 다시 만드는 대신 데이터베이스가 알려주는 오류 정보와 실제 저장된 데이터를 이용해 잘못된 부분만 찾아 수정하는 방식이다. 존재하지 않는 테이블이나 항목 사용 여부, 자료 연결 누락, 잘못된 함수나 검색값 등을 확인해 해당 부분만 고친다.
연구팀은 데이터베이스에서 실행 가능한 여러 수정안 가운데 원래 AI가 만든 명령과 가장 가까운 후보부터 탐색하는 '안전 질의 공간(Safe Query Space)' 방식을 적용해 맞지 않는 후보를 미리 제외하고 수정 시간을 줄였다. 또 이 기술을 공개형 데이터베이스 관리 프로그램인 PostgreSQL 내부에 구현해 복잡한 명령에서도 오류 위치를 정확히 찾도록 했으며, 부분 수정으로 해결되지 않는 경우에만 LLM을 다시 호출하도록 설계했다.
연구팀은 AI의 데이터베이스 검색 성능을 비교하는 데 쓰이는 BIRD와 Spider 벤치마크로 SafeQL의 성능을 검증했다. BIRD 벤치마크에서는 실행 오류를 최대 87.4% 해결하고, 실행 정확도를 기존 최고 기술보다 최대 5.8%포인트 높였다. 기존 재생성 방식과 비교하면 토큰 사용량은 최대 15.1배, 수정 시간은 최대 29.6배 줄었다. Spider 벤치마크에서는 91.7%의 실행 정확도를 기록했으며, 토큰 사용량은 최대 96.5배, 수정 시간은 최대 34.5배 감소했다.
이번 연구에는 KAIST 전산학부 이건호 박사과정 학생이 제1저자로, 김민수 교수가 교신저자로 참여했다. 연구는 과학기술정보통신부의 지원을 받는 한국연구재단(NRF)과 정보통신기획평가원(IITP)의 SW스타랩 사업 지원을 받아 수행됐다. 연구 결과는 9월 1~5일 미국 보스턴에서 열리는 국제학술대회 VLDB(International Conference on Very Large Data Bases)에서 발표된다.
biggerthanseoul@newspim.com
