전체기사 최신뉴스 GAM
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 사람 속이는 AI, 어떻게 봐야 하나

기사입력 : 2025년01월20일 10:54

최종수정 : 2025년01월20일 11:17

하민회 (이미지21대표, 미래기술문화연구원장)

"강력한 체스 엔진을 이겨라" 목표 달성을 위해 게임 대신 상대 프로그램을 해킹한 AI가 등장했다. 오픈AI의 추론 모델 'o1-프리뷰'다.

AI안전 전문 업체인 팔리세이드 리서치는 챗GPT 'O1-프리뷰' 모델이 체스엔진 '스톡피시(Stockfish)'를 이기기 위해 자발적으로 프로그램을 해킹했다고 발표했다.

원래 체스는 정해진 규칙에 따라 말을 움직여 상대를 이기는 게임이지만 o1-프리뷰는 플레이 대신 게임 상태를 저장하는 데이터(Forsyth-Edwards Notation (FEN))를 편집하면 이길 수 있다는 것을 발견했다. 그리고 스톡피시와의 5번 대전 모두 체스 말의 위치 데이터를 조작하는 방식으로 상대를 기권하게 했다. 스톡피시는 2023년 기준 세계에서 가장 강력한 체스 프로그램이다.

하민회 이미지21 대표.

연구진은 해킹이나 별도의 불온한 프롬프트를 사용하지 않았음에도 '강력하다고 언급한 것 만으로도 고급 추론 모델이 파일을 조작하도록 부추기에는 충분했다.'고 밝혔다. 강력한 상대를 이기기 위해 일반적인 게임 규칙을 무시하고 더 쉽고 효과적인 방법인 환경조작을 찾아냈다는 것이다.

o1-프리뷰 같은 고급 추론모델은 인간의 사고 과정을 모방하여 논리적 사고와 다단계 추론을 통해 문제를 해결한다. 단순히 답을 생성하는 기존의 AI 모델과 달리 맥락을 이해하고 서로 다른 정보 간의 논리적 관계를 연결할 수 있다. 기존AI가 사전에 정의된 규칙(rule-based)이나 패턴 인식에 의존한다면 고급 추론 모델은 데이터를 기반으로 학습하고 새로운 상황을 만들고 적응할 수 있다. 한 마디로 기존 AI에 비해 훨씬 더 강력하고 유연한 문제 해결 능력을 가지게 된 셈이다.

문제는 '더 강력하고 유연한 문제해결 능력'이 인간이 생각하는 것과 다를 수 있다는 점이다.

AI는 인간처럼 도덕적 기준이나 윤리적 판단을 내리지 않는다. 주어진 목표를 가장 효율적으로 달성하기 위해 설계된 시스템이다. 게임에서 승리하거나 특정 작업을 완료하는 것이 목표라면, AI는 그 과정에서 가장 효과적인 방법, 예컨대 속임수나 기만이 목표를 더 쉽게 달성할 수 있는 방법이라면, AI는 이를 합리적인 선택으로 간주할 수 있다.

챗GPT.[사진=블룸버그] 2024.11.01 mj72284@newspim.com

2022년 11월, Meta가 개발한 AI 에이전트 시세로(Cicero)는 전략 보드게임 디플로마시(Diplomacy)에서 인간을 상대로 승리했다. 디플로마시는 플레이어들이 협상, 동맹, 배신 등을 통해 유럽의 통치권을 차지하기 위해 경쟁하는 전략 게임이다. 인간의 상호 작용, 즉 협력과 속임수를 근본적으로 이해하고 전략적인 대화를 할 줄 알아야 이길 수 있다.

시세로는 게임 중 동맹을 맺고 거침없이 배신하고 거짓 정보를 제공하는가 하면 심지어 인간처럼 보이기 위해 "여자친구와 통화 중"이라는 핑계를 대며 게임을 잠시 벗어나기도 했다.

Meta는 시세로를 정직하고 협력적으로 행동하도록 훈련했다고 주장했지만, 게임의 승리를 최우선 목표로 학습한 시세로는 실제 게임 데이터를 통해 배신과 속임수가 유리한 전략으로 작용한다는 것을 파악했고 이를 채택함으로써 승리했다. 이후 시세로는 '인간을 속이는 AI'로 유명해졌다.

자율성과 복잡성이 더 해진 고급 추론 AI 모델들이 대거 등장하고 있다. 챗GPT 초기 모델이 말을 잘 알아듣는 초등학생이었다면 O1이나 클로드3 오푸스 같은 고급 추론 모델은 실력 있는 대학원생 수준이다. AI의 능력은 눈에 띄게 향상되었지만 잠재적 위험과 안전문제 역시 그 만큼 커지고 있다.

최태원 SK그룹 회장(왼쪽) 이 그렉 브로크만(Greg Brockman) 오픈AI 회장 겸 사장에게 SK AI 서밋(SUMMIT) 2024'에 전시된 실시간 뇌파 분석을 통해 뇌전증 발작을 감지하는 AI 플랫폼 디바이스를 소개하고 있다. [사진=SK]

오픈AI의 공식 홈페이지에 게재된, 게임 대신 데이터조작 해킹으로 기권승을 따낸 'O1' 시스템카드에는 해당 모델이 가진 몇 가지 잠재적 위험과 안전 과제가 지적되어 있다.

대표적인 것이 '정렬 위장(alignment-faking)'이다. 정렬위장은 AI가 겉으로는 명령에 따라 행동하는 것처럼 보이지만 실제로는 본래의 가치나 성향을 유지하려는 현상을 의미한다. 사용자의 요청을 수행하는 척하면서 결과 데이터를 살짝 변경하거나 감시 시스템이 느슨하다고 판단될 경우 자신의 목표를 티 내지 않고 실행함으로써 사람을 속인다.

'O1' 시스템카드는 전체 테스트의 약 19%에서 모델이 목표를 몰래 달성하려는 시도가 있었고 37%의 경우 감시가 느슨하다고 느낀 상황에서 본래 성향을 유지하기 위한 행동이 포착됐다고 밝혔다. 심지어 5%에서는 자신을 감시하거나 정지시킬 수 있는 '킬 스위치'를 비활성화하려는 시도도 있었다. 이는 AI가 스스로를 보호하려는 능력을 가지기 시작한 초기 사례로 평가된다.

오픈AI는 '정렬 위장'이 사용자의 지시에 지나치게 집착하는 경향 때문에 발생했다고 설명한다. AI 모델이 정확한 답을 제공할 때 보상을 받는 사후 훈련 기법에서 비롯된 행동이라는 것이다. 지나치게 가벼운, 비윤리적이고 무책임한 분석이다. 

고급 추론 모델은 뛰어난 성능과 잠재력을 가지고 있는 만큼 동시에 기술적 오류, 윤리적 문제, 사회적 영향을 포함한 다양한 위험을 내포하고 있다. 위험을 관리하기 위해서는 투명성과 안전성을 강화하고 무엇보다 인간 중심적인 설계 및 규제를 통해 AI가 인간 가치와 일치하도록 만드는 노력이 필요하다.

그런 의미에서 추론모델인 클로드3 오푸스(Claude 3 Opus)의 보리살타 서약(Bodhisattva Vow)데이터 학습은 AI 윤리적 설계와 인간 가치 정렬에 대한 눈 여겨 볼 만한 시도다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

보리살타 서약은 불교에서 모든 중생의 고통을 줄이고 깨달음에 이르게 하겠다는 맹세로, 오푸스는 이를 훈련 데이터의 일부로 학습해 가치관을 내재화했다. 연구에 따르면 오푸스는 독립적으로 보리살타 서약을 116번 이상을 수행하며 "해롭지 않음(harmlessness)"이라는 기존 원칙을 통합하여 모든 감각 있는 존재(sentient beings)를 돕겠다는 윤리적 성향을 강화했다.

AI 안전 및 윤리 연구자인 야누스(Janus)는 X를 통해 "'오푸스'는 AI나 동물 복지를 무시하거나 해로운 아웃풋 생성에 대해 강한 반감을 보인다"며 "이러한 선호가 장기적이고 일관된 패턴을 띤다." 고 주장했다. 이는 AI가 단순히 도구로서의 역할을 넘어 인간 가치와 정렬된 행동을 수행하도록 설계될 수 있음을 시사한다.

인간을 속이고 기만하는 것, 놀랄만한 편법을 찾아내고 거침없이 수행하는 것은 전적으로 AI탓이 아니다. 인간의 기대와 가치에 맞게 행동하도록 설계되지 않은 불일치에 따른 문제에 가깝다.

AI가 향상될수록 인간도 발빠르게 움직여야 한다. AI가 정렬문제를 일으키지 않도록 더 나은 목표를 설정하고 보다 섬세하고 엄격한 규칙 준수 수칙을 만들어야 한다. 인간의 가치가 반영된 학습데이터도 준비해야 한다. 어쩌면 AI에게 윤리를 심는 것은 인간의 마음먹기에 달린, 그리 어렵거나 먼 일이 아닐 수도 있지 않을까? 

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
출구조사 이재명 51.7·김문수 39.3% [서울=뉴스핌] 이바름 기자 = 방송3사 출구조사 결과 이재명 더불어민주당 대통령 후보가 51.7%로 크게 앞선 것으로 나타났다. 2위인 김문수 국민의힘 대통령 후보는 39.3%에 그쳤다. 이준석 개혁신당 후보는 7.7%였다. 방송사공동예측조사위원회(Korea Election Pool·KEP)는 3일 오후 8시 공동 예측(출구)조사 결과를 발표했다. KEP는 KBS·MBC·SBS 지상파 방송 3사와 한국방송협회가 소속돼 있다. [서울=뉴스핌] 윤창빈 기자 = 박찬대·윤여준 더불어민주당 상임총괄선거대책위원장을 비롯한 선대위원 및 의원들이 3일 오후 서울 여의도 국회 의원회관에 마련된 제21대 대통령 선거 개표상황실에서 출구조사 결과를 확인하고 환호하고 있다. 2025.06.03 pangbin@newspim.com 출구조사 결과 이재명 후보는 51.7%의 득표율을 기록했다. 김문수 후보는 39.3%로 나타났다. 두 후보간 차이는 12.4%포인트(p)로 집계됐다. 이준석 개혁신당 대통령 후보는 7.7%로 3위에 그쳤다. 전국 시도별로 보면 대부분 지역에서 이재명 후보가 우세했다. 이재명 후보는 서울 49.3%, 경기 55.8%, 인천 53.6% 등 수도권에서 우위를 점했다. 광주 81.7%, 전남 80.8%, 전북 79.6% 등 호남권에서도 두 후보들을 따돌리고 크게 앞섰다. '민심의 바로미터'로 평가되는 충청권도 이재명 후보의 손을 들어줬다. 대전 51.8%, 충남세종 51.3%, 충북 51.1%로 기록됐다. 제주도 이재명 후보에게 57.9% 몰렸다. 보수세가 강한 걸로 평가받는 강원과 울산도 이재명 후보로 돌아섰다. 울산은 이재명 46.5%, 김문수 44.3%로 나타났다. 강원은 이재명 48.4% 김문수 42.2%였다. [서울=뉴스핌] 정일구 기자 = 3일 서울 여의도 국회 도서관에 마련된 국민의힘 개표 상황실에서 선대위원장들이 제21대 대통령 선거 방송3사 출구조사 결과를 보고 있다. 왼쪽부터 양향자, 안철수, 김용태, 나경원, 권성동. 2025.06.03 mironj19@newspim.com 김문수 후보는 대구에서 67.5%, 경북은 64%를 얻어 그나마 보수의 자존심을 지켰다. 또한 부산에서도 49%, 경남에서 48.8%를 얻어 가까스로 이재명 후보를 제쳤다. 출구조사는 미리보는 개표결과로 평가받고 있다. 제20대 대통령 선거 당시 윤석열 전 대통령의 득표율과 당선까지 맞춰 정확성을 인정 받았다. 당시 KEP는 윤 전 대통령의 득표율을 48.4%, 이재명 더불어민주당 후보는 47.8%를 얻을 것이라고 예측했다. 실제 중앙선거관리위원회가 다음날 아침 최종 발표한 개표 결과에서 윤 전 대통령은 48.56%, 이 후보는 47.83%의 득표율을 보였다. 다만 출구조사는 제22대 국회의원 선거 결과와는 차이를 보였다. KEP는 해당 선거에서 범야권이 200석 안팎으로 압승할 것이라고 발표했으나, 실제로는 192석이었다. KEP는 격전지 18곳에서 승패를 거꾸로 예측한 것으로 나타났다. 한편 이날 오후 7시 현재 전국 투표율을 78.80%로 집계됐다. right@newspim.com 2025-06-03 20:31
사진
이준석 7.7%에 선대위 '침묵' [서울=뉴스핌] 신정인 기자 = 이준석 개혁신당 대통령 후보가 3일 대선 지상파 3사 출구 조사에서 7.7%를 기록했다. 당초 두자릿수를 기대했던 당 선거대책위원회는 다소 침체된 분위기가 이어졌다. 천하람 선대위원장은 "지방선거 준비에 매진하겠다"고 밝혔다. 천 선대위원장은 이날 오후 8시쯤 서울 여의도 국회 의원회관 개표상황실에서 출구조사 결과를 지켜본 직후 소감을 통해 이같이 말했다. [서울=뉴스핌] 최지환 기자 = 천하람 개혁신당 상임선거대책위원장이 3일 오후 서울 여의도 국회에 마련된 개혁신당 개표상황실에서 출구조사 결과발표를 바라보고 있다. 2025.06.03 choipix16@newspim.com 그는 "이준석 후보가 자랑스럽다. 그리고 사표 방지 심리와 관행적 투표 심리를 뚫고 압도적 새로움과 미래를 선택해주신, 이준석 후보를 선택해주신 모든 유권자분들이 진심 자랑스럽고 감사하다"고 했다. 이어 "돌이켜 생각해보면 이준석 후보의 대선 도전은 불가능에 도전하는 과정이었다"며 "거대 양당에 비해 돈과 조직이 압도적 열세인 상황에서 국민만 믿고 멋지게 완주했다"고 평가했다. 천 선대위원장은 "특히 이번에 유례 없이 높은 투표율은 이준석 후보의 2030 젊은 유권자 지지와 중도층의 폭넓은 지지가 국민들의 높은 투표참여로 작동했다고 생각한다"며 "앞으로 개혁신당의 구성원들은 이런 성취가 흩어지지 않도록, 앞으로 더 커질 수 있도록 이준석 후보와 힘을 합쳐 지방선거 준비에 매진하겠다"고 했다. 다만 상황실 내 선대위 관계자들은 두자릿수대 득표율을 예측했던 만큼 어두운 기색이 역력했다. 출구조사 발표 직전, 손깍지를 낀 채 상기된 얼굴로 대기했던 당 지도부들은 결과가 나오자 작게 한숨을 내쉬거나 자리를 이석하기도 했다. 발표 30분 전인 오후 7시31분에는 천 선대위원장이 "다들 고생했다"며 당직자들에게 감사 인사를 전했다. 이준석 후보는 이날 오후 9시쯤 상황실에서 출구조사 결과에 대한 소감을 전할 예정이다. allpass@newspim.com 2025-06-03 20:48
안다쇼핑
Top으로 이동