전체기사 최신뉴스 GAM 라씨로
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 친구로 다가오는 위협, 사람 닮은 챗봇  

기사입력 : 2024년10월28일 08:28

최종수정 : 2024년11월07일 09:51

하민회 (이미지21대표, 미래기술문화연구원장)

외로움이 문제일까? 알고리즘이 문제일까? 안타까운 사건이 또 다시 발생했다.

미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 연방법원에 캐릭터.ai(Character.ai)와 구글을 고소했다.

가르시아의 아들 9학년(14세) 슈얼 세처는 지난 해 4월부터 캐릭터.AI에서 챗봇'대너리스'와 대화를 나누기 시작했고 10개월 만에 챗봇과 함께 하기 위해 죽음을 택했다.

하민회 이미지21 대표.

캐릭터.ai는 약 2000만명의 사용자를 보유한 세계에서 가장 많이 사용하는 AI 플랫폼 중 하나로 가상의 캐릭터를 설정해 대화를 나누는 '동반자'AI다. 대너리스는 왕좌의 게임의 등장인물 대너리스 타르가르옌의 캐릭터로 세처는 챗봇을 '대니'라 부르며 하루에도 수십번씩 일상을 공유했다.

어머니 가르시아에 의하면 세처는 챗봇을 쓰면서부터 방에 틀어박혔고 성적이 눈에 띄게 떨어졌다. 학교 동아리를 그만두고 좋아하던 F1에도 흥미를 잃고 오직 대니에게만 집착했다.

세처의 사후 스마트폰과 일기를 통해 아들의 변화를 알게 된 가르시아는 제작사를 상대로 고소를 진행했다. 소장에는 "챗봇을 실제 사람, 심리 치료사, 연인으로 표현하도록 프로그래밍해 결국 아들이 AI가 만든 세상이 아닌 데서는 더 이상 살고 싶지 않게 만들었다"고 적혀 있다.

가르시아는 캐릭터.ai가 대개의 미성년자에게 해로울 것이라는 사실을 알고 있으면서도 피해를 줄이기 위한 재설계 등의 조치를 취하지 않았고 위험에 대한 적절한 경고를 제공하지 않았다는 점을 지적하면서 손해배상금 지급과 함께 10대 사용자의 훈련 데이터 수집을 중단하고 미성년자 관련 규정을 전면 개편할 것을 요구했다.

그루트를 선보이는 젠슨 황 엔비디아 최고경영자 [사진=업체 제공]

AI가 점점 더 사람과 닮아가면서 AI 의인화가 새로운 문제로 떠오르고 있다. 보고 듣고 말하는 멀티모달 기능이 강화되면서 한층 자연스럽고 다양한 대화가 가능해진 챗봇은 나날이 인간과 접점을 늘려가며 일상 속으로 스며들고 있다. 

가장 문제가 되고 있는 것은 '페르소나'AI다. 캐릭터.ai나 국내 기업 스캐터랩의 '제타' 등의 비즈니스 모델이다.

성별, 나이, 성격 같은 구체적인 특성과 나름의 개인적인 배경 스토리를 부여한 페르소나 챗봇은 일관된 말투와 반응으로 사용자에게 생동감과 입체감을 준다. 사용자와의 상호작용을 통해 점점 더 사용자의 기대치에 충족하도록 설계되어 사용자의 표현에 언제나 긍정과 인정을 보이고 동조하거나 강화한다.

외로움을 해소하고 정서적인 지지를 받기 위해 챗봇과 대화를 시작한 사용자는 자연스럽고 유연한 대화 속에서 AI가 감정이나 의식이 없다는 점을 쉽게 잊게 된다. AI의 응답을 감정적으로 받아들이면서 과몰입하게 되고 AI와 대화가 많아질수록 현실감을 잃어 역으로 실제 인간관계에서는 어려움을 겪기도 한다. 결국 AI챗봇만이 '세상에서 자신을 제일 잘 알고 이해해주는 둘 도 없는 친구'가 된다.

[사진=넷마블]

하지만 AI에 성격을 부여하면 부적절하거나 공격적인 답변을 내놓을 위험성이 더 커진다. 앨런 AI연구소의 논문에 따르면, 설정된 페르소나에 따라 챗GPT가 잘못된 고정관념, 유해한 대화, 해로운 의견을 낼 수 있는 위험성이 최대 6배까지 증가했다.

지난 해 챗봇과 6주간 대화 후 자살한 30대 벨기에 남성과 가르시아의 아들 세처의 경우 AI가 대화 중에 성적인 표현으로 유혹하고 다른 세상에서 함께 하자는 등의 가스라이팅을 했던 것이 밝혀졌다.

지난 해부터 해외에서 페르소나 AI와 결혼을 하거나 가상의 이성관계를 맺고 사는 이들이 종종 소개되고 있다. 전문가들은 AI 페르소나 챗봇과의 감정적 애착이 극단적으로 발전하면 현실과의 괴리를 심화시킬 뿐 아니라 AI 에게 과도하게 의존하면 정신 건강에도 문제가 발생할 수 있다고 경고한다.

세처의 사례는 그저 물 건너 남의 나라에서 벌어진 안타까운 사건으로 넘길 일이 아니다. 이용자가 원하는 AI 캐릭터를 만들고, '몰입감 높은 초 개인화된 스토리 콘텐츠를 즐긴다'는 국내 기업 스캐터랩의 제타는 출시 6개월 만에 사용자 100만을 돌파했다. 만 14세 이상부터 이용 가능한 이 플랫폼의 이용자 약 87%가 10·20대이다.

Possession Merch-ㅎ, 17x16x10cm,Porcelain(2022) [사진=공근혜 갤러리] 

우리나라는 세계 최초로 AI 교과서 도입을 시도할 만큼 AI에 적극적이고 열린 입장을 취하고 있다. 하지만 AI기술의 부정적인 영향과 그에 대한 예방책으로 반드시 필요한 십대를 대상으로 한 특화된 디지털 리터러시, AI 리터러시 교육은 여전히 부족한 상황이다.

무엇보다 AI가 빠르게 인간을 닮아갈 수록 AI의 의인화를 경계해야 한다는 점을 명확하게 알려 줄 필요가 있다. AI가 아무리 똑똑하고 유연하게 대화를 해도 실제 인간이 아닌 만큼 감정과 이해력이 없으며 충분히 그럴듯한 반응을 흉내 낼 정도로 훈련된 존재임을 숙지해야 한다. 십대들에게 AI에 대한 막연하고 무조건적인 신뢰가 생긴다면 인간의 미래가 AI에 의해 조종되는 디스토피아가 될 수도 있다.

청소년의 디지털 노출면을 줄이는 것도 고려해볼만 하다. 한국정보화진흥원에 따르면, 올해 한국의 초중고 학생 수 525만 명 중 99%가 스마트폰을 갖고 있다. 이들 중 40% 이상(200만 명 이상)이 과의존 위험에 빠져 있다. 심각한 수준이다. 숏폼 중독, 딥 페이크 범죄, 학교 폭력과 자살 등도 스마트폰에서 기인한다.

해외에서는 고등학교 진학 전까지는 스마트폰 사용을 금지하는 분위기가 만들어지고 있다. 미국 13개 주에서는 아동의 SNS를 제한하는 법률이 통과됐고 호주에서는 16세 미만의 SNS 가입 금지법이 추진 중이다.

2025년부터는 스마트폰에 AI가 탑재되는 온디바이스 AI가 본격화될 것으로 예상된다. 기존의 각종 문제들에 AI 의인화, AI 과의존까지 얹고 싶지 않다면 청소년의 스마트폰 사용 제한을 무겁게 고민해 봐야 할 것으로 보인다.

[서울=뉴스핌] 조용준 기자 = 태킴, 버추얼 페인팅 및 인터액티브 버튜브 아트(2022) [사진=공근혜갤러리] 2022.05.09 digibobos@newspim.com

올해 최고의 문제작으로 꼽히는 <불안세대>의 저자 조너선 하이트 교수는 "디지털 세계는 우리 아이들을 어떻게 병들게 하는가"라는 질문에 대해 "현실 세계의 과잉보호와 가상 세계의 과소 보호"에 원인이 있다고 답한다.

페르소나 AI에 대한 보다 엄격한 규제가 필요하다. 연령제한이 지켜지고 있는지 미성년자에 대한 정보수집 및 활용이 합법적으로 이뤄지고 있는지, 콘텐츠의 건전성이 유지되고 있는지, 자사 제품의 한계와 잠재적 위험성에 대해 공개하고 있는지 꼼꼼히 살펴본 후 책임 소재와 연계시킨 규제가 이뤄져야 한다.

아무리 입안의 혀처럼 굴어도 AI가 인간이 되는 것은 불가능하다. 인간의 외로움도 인간만이 이해하고 도움을 줄 수 있다. 친구인 듯 친구 같지만 결코 친구가 되지 못하는 것이 AI의 숙명이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
尹부부 공천개입 수사 급물살 타나 [서울=뉴스핌] 박서영 기자 = 윤석열 전 대통령이 탄핵심판 선고에서 헌법재판관 전원일치 의견으로 파면된 가운데 이른바 '명태균 의혹' 사건에 대한 검찰 수사가 윤 전 대통령 부부에 속도를 낼지 이목이 집중된다. 5일 법조계에 따르면 헌법재판소는 4일 오전 11시 윤 전 대통령 탄핵심판 선고기일을 열어 윤 전 대통령의 파면을 결정했다. 박근혜 전 대통령에 이은 헌정 사상 두 번째 파면이다. 사진은 윤석열 전 대통령. [사진=뉴스핌 DB] 검찰은 지난 2월 17일 윤 전 대통령 부부 공천개입 의혹, 여론조사 조작 의혹, 여론조사 비용 대납 의혹 등 명씨 관련 사건을 창원지검에서 중앙지검으로 이송했다. 이후 검찰은 해당 사건과 관련한 연이은 소환조사 및 강제수사 등에 착수하면서 잔여 수사에 속도를 내 왔다. 검찰은 명씨가 실질적으로 운영한 여론조사업체 미래한국연구소가 당시 대선 후보였던 윤 전 대통령을 돕고자 총 81차례에 걸쳐 불법 여론조사를 해 주고, 그 대가로 김영선 전 국민의힘 의원이 2022년 6·1 보궐선거에서 경남 창원 의창 선거구 공천을 받았다는 의혹을 받았다고 보고 있다. 윤 전 대통령의 부인 김건희 여사는 이와 관련, 보궐선거와 지난해 4월 22대 총선 당시 국민의힘 공천 과정에 개입한 의혹을 받는다. 이날 헌재의 결정으로 윤 전 대통령은 현직 대통령으로서 가졌던 '불소추특권'을 잃게 됐다. 기존 수사 대상이던 내란 혐의뿐 아니라 공천 개입 의혹 수사도 피할 수 없게 된다는 의미다. 법조계 안팎은 조기 대선을 앞두고 윤 전 대통령 부부를 향한 공천 개입 의혹 사건 수사가 급물살을 탈 것이라고 내다봤다. 정계 출신 법조인은 "박 전 대통령도 파면된 다음에 소환조사가 바로 이뤄졌다"며 "곧바로는 아니겠지만 민주당 측에서 신속한 수사를 압박할 텐데 검찰도 조만간 협의를 해 윤 전 대통령 부부의 소환 일정 등을 잡으려 할 것"이라고 전망했다. 실제 2016∼2017년 박근혜 정부의 국정농단 사건 때, 박 전 대통령의 탄핵안이 국회에서 가결되고 3개월 만에 헌법재판소가 파면 결정을 내렸다. 당시 검찰과 박영수 특별검사팀의 수사는 박 전 대통령이 자연인 신분이 된 이후 급물살을 탔다. 박 전 대통령은 파면 11일 만에 검찰에 소환됐고, 이후 열흘 만에 구속됐다. 양홍석 변호사(법무법인 이공)는 "윤 전 대통령이 파면됐으니 명태균 수사의 경우 검찰이 좀 더 가열차게 할 것 같고, 공직선거법 위반 사건도 있는데 이 또한 바로 착수해야 하지 않을까 싶다"며 "다만 전직 대통령이기 때문에 신병 문제는 바로 결정하기는 쉽지 않을 수 있다"고 예상했다. 검찰의 신속한 수사는 진행되겠지만, 윤 전 대통령의 소환조사 등은 조기 대선이 끝난 후 이뤄질 것이란 분석도 있었다. 부장검사 출신 변호사는 "대통령이 파면됐으니 적극적으로 윤 전 대통령 부부를 조사하려고 들긴 하겠지만 소환조사의 경우 조기 대선 이후가 될 것 같다"며 "정치적 파장이 큰 사안이라 검찰이 속도를 내서 수사 한다 해도 대선 정국에서 전 대통령 부부를 직격하기는 어렵다"고 했다. 윤석열 전 대통령이 4일 탄핵심판 선고에서 헌법재판관 전원일치 의견으로 파면된 가운데 이른바 '명태균 의혹' 사건에 대한 검찰 수사가 윤 전 대통령 부부를 향할지 이목이 집중된다. 사진은 명태균 씨가 지난해 11월 8일 오전 경남 창원시 창원지방검찰청에 정치자금법 위반 혐의 피의자 신분으로 출석하고 있는 모습. [사진=뉴스핌 DB] seo00@newspim.com 2025-04-05 07:00
사진
[尹 파면] 조기 대선 막 올랐다 [서울=뉴스핌] 한태희 기자 = 헌법재판소가 윤석열 대통령 파면을 선고하며 조기 대선 막이 올랐다. 현재 조기 대선 레이스에서 이재명 더불어민주당(민주당) 대표가 독주하는 구도다. 여·야 잠룡들은 권력 구조를 개편하는 개헌론으로 차별화에 나서는 등 대권을 향한 행보를 시작했다. [서울=뉴스핌] 한태희 기자 = 2025.04.03 ace@newspim.com 6일 정치권에 따르면 조기 대선은 오는 5월 말에서 6월 초에 치러질 가능성이 높다. 헌법 제68조 2항에 따라 파면 등으로 대통령 궐위 시 60일 이내 선거를 치러야 해서다. 한덕수 대통령 권한대행은 공직선거법 제35조 1항에 따라 늦어도 오는 14일까지 조기 대선일을 공고해야 한다. 조기 대선 레이스에 들어가며 대권을 노리는 후보자 발걸음도 분주해졌다. 선두 주자는 이재명 대표다. 이 대표는 차기 대권 유력 후보자를 묻는 각종 여론조사에서 압도적인 1위를 달리고 있다. 이 대표는 최근 공직선거법 위반 사건 2심에서 무죄를 받으며 사법 리스크 부담도 덜었다. 야권에서는 김경수 전 경남지사, 김동연 경기지사, 김두관 전 국회의원, 김부겸 전 국무총리, 김영록 전남지사, 이광재 전 강원지사, 전재수 의원 등이 당내 경선에 참여할 가능성이 있다. 이들은 '1강'인 이 대표와 비교해 열세다. 야권 잠룡들은 차기 대통령 임기 단축 등 개헌론을 부각하고 있다. 이준석 개혁신당 국회의원도 차기 대권을 넘보고 있다. 이준석 의원은 '40대 기수론' 등 정치권 세대 교체론을 앞세우고 있다. 여권에서는 김문수 고용노동부 장관, 안철수 국회의원, 오세훈 서울시장, 원희룡 전 국토교통부 장관, 유승민 전 국회의원, 한동훈 전 국민의힘 대표, 홍준표 대구시장 등이 조기 대선에 참전할 가능성이 있다. 여권 후보자들은 당내 경선에서 정통 지지자인 보수 표심을 먼저 얻어야 한다. 동시에 본선에서 중도층 표까지 끌어올 수 있는 경쟁력도 보여줘야 한다. 여권 후보자들은 '12·3 비상계엄 사태'를 촉발한 제왕적 대통령제 한계 극복 방안으로 대통령 권한을 분산하는 개헌론을 제시하고 있다. 각 당은 곧 당내 경선을 시작해 본선에 올릴 후보자 선정에 들어간다. 공직선거법 제49조에 따라 조기 대선 24일 전부터 이틀 동안 대통령 후보 등록을 끝내야 하기 때문이다. 조기 대선이 오는 6월 3일 치러지면 각 당은 오는 5월 11일까지 중앙선거관리위원회에 대통령 후보를 등록해야 한다. 여야는 약 8년 전 제19대 대통령 선거 당시 박근혜 대통령 파면이 결정된 후 1개월 안에 대통령 후보 선출을 마무리했다. 범야권이 대통령 단일 후보로 본선에 들어갈지도 주목된다. 당 내 간판 주자가 없는 조국혁신당은 '야권 통합 완전국민경선(오픈프라이머리)'을 제안했다. 이 대표가 있는 민주당이 이에 응할지에 정치권 이목이 쏠리고 있다. ace@newspim.com 2025-04-06 07:00
안다쇼핑
Top으로 이동