[세종=뉴스핌] 이경태 기자 = 광주과학기술원(GIST)은 AI학과 김의환 교수 연구팀이 로봇이 주변 물체뿐 아니라 손잡이·버튼 같은 세부 부품과 그 기능까지 파악할 수 있는 인공지능(AI) 기술을 개발했다고 17일 밝혔다.

연구팀은 물체와 부품의 위치, 기능, 가능한 행동까지 하나로 연결해 표현하는 '통합 3차원 장면 그래프(Unified 3DSG)'를 제시하고, 실제 카메라 영상에서 이를 자동으로 구축하는 AI 기술 'OP3DSG'를 개발했다. 3차원 장면 그래프는 로봇이 주변 환경을 이해하고 이동·작업 계획을 세우도록 공간 속 물체 간 관계를 표현하는 일종의 3차원 지식지도다. 기존 방식은 의자, 전자레인지 같은 물체 단위 정보 표현에 그쳐, 크기가 작고 촬영 각도에 따라 형태가 달라지는 손잡이·버튼 같은 부품까지 구체적으로 표현하는 데 한계가 있었다.

OP3DSG는 영상에서 주요 물체를 찾은 뒤 해당 물체에 포함될 것으로 예상되는 세부 부품을 함께 탐색하는 방식으로 작동한다. 예컨대 오븐을 인식하면 버튼, 문, 손잡이 등 오븐을 구성하는 부품을 추가로 찾는다. 이후 여러 각도에서 촬영된 영상 정보를 3차원 공간으로 통합하는데, 이 과정에서 부품의 위치·의미뿐 아니라 색상 정보까지 비교해 동일 부품 여부를 판별한다. 물체와 부품의 위치·거리 정보로 기본적인 공간 관계를 구성한 뒤에는 대규모 언어 모델(LLM)을 활용해 부품과 물체 간 기능적 관계와 가능한 행동을 검토·보완한다.

연구팀이 자체 개발한 평가 체계 '유니그래프3D(UniGraph3D)'로 성능을 검증한 결과, AI가 찾아낸 상위 3개 후보 안에 정답 부품이 포함되는 비율은 83.6%로 나타났다. 이는 기존 비교 방법 중 최고 성능인 52.4%보다 31.2%포인트 높은 수치다. 물체와 부품 간 공간적 관계 파악 성능은 기존 최고 성능보다 7.9%포인트, 기능적 관계 파악 성능은 9.2%포인트 각각 향상됐다.

연구팀은 이동형 로봇 '스트레치 3(Stretch 3)'에 이 기술을 적용해 실제 환경에서의 활용 가능성도 확인했다. 로봇은 주변 의자 개수를 파악하거나 TV를 켜기 위한 리모컨 위치를 찾아 이동하는 작업을 수행했다. "빨래를 정리해 달라"는 지시에는 수건을 찾아 바구니에 넣는 작업 순서를 계획했고, "목이 마르다. 마실 때 쓸 수 있는 것을 가져다 달라"처럼 구체적인 물체 이름이 제시되지 않은 지시에도 기능적 관계를 바탕으로 필요한 물체를 찾아 이동 목표를 설정했다.

김의환 교수는 "이번 연구의 핵심은 로봇이 무엇이 어디에 있는지뿐 아니라 어떤 부품을 사용할 수 있고, 어떻게 사용할 수 있는지까지 이해하는 데 필요한 정보를 하나로 연결한 것"이라며 "앞으로 서비스 로봇이 복잡한 실제 환경을 이해하고, 사람의 자연어 지시를 구체적인 작업 계획과 이동으로 연결하는 데 기반 기술로 활용될 수 있을 것"이라고 말했다.

이번 연구는 김의환 교수가 지도하고 김이룸 석·박사통합과정생이 제1저자로 수행했으며, 과학기술정보통신부(과기부)·정보통신기획평가원 AI Bots 협업 플랫폼 및 자기조직 인공지능 기술개발 사업, 과기부·한국연구재단 신진연구자지원사업, 과기부·국가과학기술연구회 글로벌 TOP 전략연구단 지원사업의 지원을 받았다.

연구 결과는 지난 9월 8일부터 12일까지 스웨덴 말뫼에서 열린 국제학술대회 European Conference on Computer Vision(ECCV) 2026에서 발표됐다. ECCV는 유럽컴퓨터비전협회(ECVA)가 주관하는 컴퓨터비전·머신러닝 분야의 주요 국제학술대회다. GIST는 이번 연구 성과의 기술사업화 및 산업적 활용에 관심 있는 기업·기관의 문의를 창업혁신진흥원 기술사업화센터를 통해 받고 있다고 밝혔다.

biggerthanseoul@newspim.com