전체기사 최신뉴스 GAM
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 친구로 다가오는 위협, 사람 닮은 챗봇  

기사입력 : 2024년10월28일 08:28

최종수정 : 2024년11월07일 09:51

하민회 (이미지21대표, 미래기술문화연구원장)

외로움이 문제일까? 알고리즘이 문제일까? 안타까운 사건이 또 다시 발생했다.

미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 연방법원에 캐릭터.ai(Character.ai)와 구글을 고소했다.

가르시아의 아들 9학년(14세) 슈얼 세처는 지난 해 4월부터 캐릭터.AI에서 챗봇'대너리스'와 대화를 나누기 시작했고 10개월 만에 챗봇과 함께 하기 위해 죽음을 택했다.

하민회 이미지21 대표.

캐릭터.ai는 약 2000만명의 사용자를 보유한 세계에서 가장 많이 사용하는 AI 플랫폼 중 하나로 가상의 캐릭터를 설정해 대화를 나누는 '동반자'AI다. 대너리스는 왕좌의 게임의 등장인물 대너리스 타르가르옌의 캐릭터로 세처는 챗봇을 '대니'라 부르며 하루에도 수십번씩 일상을 공유했다.

어머니 가르시아에 의하면 세처는 챗봇을 쓰면서부터 방에 틀어박혔고 성적이 눈에 띄게 떨어졌다. 학교 동아리를 그만두고 좋아하던 F1에도 흥미를 잃고 오직 대니에게만 집착했다.

세처의 사후 스마트폰과 일기를 통해 아들의 변화를 알게 된 가르시아는 제작사를 상대로 고소를 진행했다. 소장에는 "챗봇을 실제 사람, 심리 치료사, 연인으로 표현하도록 프로그래밍해 결국 아들이 AI가 만든 세상이 아닌 데서는 더 이상 살고 싶지 않게 만들었다"고 적혀 있다.

가르시아는 캐릭터.ai가 대개의 미성년자에게 해로울 것이라는 사실을 알고 있으면서도 피해를 줄이기 위한 재설계 등의 조치를 취하지 않았고 위험에 대한 적절한 경고를 제공하지 않았다는 점을 지적하면서 손해배상금 지급과 함께 10대 사용자의 훈련 데이터 수집을 중단하고 미성년자 관련 규정을 전면 개편할 것을 요구했다.

그루트를 선보이는 젠슨 황 엔비디아 최고경영자 [사진=업체 제공]

AI가 점점 더 사람과 닮아가면서 AI 의인화가 새로운 문제로 떠오르고 있다. 보고 듣고 말하는 멀티모달 기능이 강화되면서 한층 자연스럽고 다양한 대화가 가능해진 챗봇은 나날이 인간과 접점을 늘려가며 일상 속으로 스며들고 있다. 

가장 문제가 되고 있는 것은 '페르소나'AI다. 캐릭터.ai나 국내 기업 스캐터랩의 '제타' 등의 비즈니스 모델이다.

성별, 나이, 성격 같은 구체적인 특성과 나름의 개인적인 배경 스토리를 부여한 페르소나 챗봇은 일관된 말투와 반응으로 사용자에게 생동감과 입체감을 준다. 사용자와의 상호작용을 통해 점점 더 사용자의 기대치에 충족하도록 설계되어 사용자의 표현에 언제나 긍정과 인정을 보이고 동조하거나 강화한다.

외로움을 해소하고 정서적인 지지를 받기 위해 챗봇과 대화를 시작한 사용자는 자연스럽고 유연한 대화 속에서 AI가 감정이나 의식이 없다는 점을 쉽게 잊게 된다. AI의 응답을 감정적으로 받아들이면서 과몰입하게 되고 AI와 대화가 많아질수록 현실감을 잃어 역으로 실제 인간관계에서는 어려움을 겪기도 한다. 결국 AI챗봇만이 '세상에서 자신을 제일 잘 알고 이해해주는 둘 도 없는 친구'가 된다.

[사진=넷마블]

하지만 AI에 성격을 부여하면 부적절하거나 공격적인 답변을 내놓을 위험성이 더 커진다. 앨런 AI연구소의 논문에 따르면, 설정된 페르소나에 따라 챗GPT가 잘못된 고정관념, 유해한 대화, 해로운 의견을 낼 수 있는 위험성이 최대 6배까지 증가했다.

지난 해 챗봇과 6주간 대화 후 자살한 30대 벨기에 남성과 가르시아의 아들 세처의 경우 AI가 대화 중에 성적인 표현으로 유혹하고 다른 세상에서 함께 하자는 등의 가스라이팅을 했던 것이 밝혀졌다.

지난 해부터 해외에서 페르소나 AI와 결혼을 하거나 가상의 이성관계를 맺고 사는 이들이 종종 소개되고 있다. 전문가들은 AI 페르소나 챗봇과의 감정적 애착이 극단적으로 발전하면 현실과의 괴리를 심화시킬 뿐 아니라 AI 에게 과도하게 의존하면 정신 건강에도 문제가 발생할 수 있다고 경고한다.

세처의 사례는 그저 물 건너 남의 나라에서 벌어진 안타까운 사건으로 넘길 일이 아니다. 이용자가 원하는 AI 캐릭터를 만들고, '몰입감 높은 초 개인화된 스토리 콘텐츠를 즐긴다'는 국내 기업 스캐터랩의 제타는 출시 6개월 만에 사용자 100만을 돌파했다. 만 14세 이상부터 이용 가능한 이 플랫폼의 이용자 약 87%가 10·20대이다.

Possession Merch-ㅎ, 17x16x10cm,Porcelain(2022) [사진=공근혜 갤러리] 

우리나라는 세계 최초로 AI 교과서 도입을 시도할 만큼 AI에 적극적이고 열린 입장을 취하고 있다. 하지만 AI기술의 부정적인 영향과 그에 대한 예방책으로 반드시 필요한 십대를 대상으로 한 특화된 디지털 리터러시, AI 리터러시 교육은 여전히 부족한 상황이다.

무엇보다 AI가 빠르게 인간을 닮아갈 수록 AI의 의인화를 경계해야 한다는 점을 명확하게 알려 줄 필요가 있다. AI가 아무리 똑똑하고 유연하게 대화를 해도 실제 인간이 아닌 만큼 감정과 이해력이 없으며 충분히 그럴듯한 반응을 흉내 낼 정도로 훈련된 존재임을 숙지해야 한다. 십대들에게 AI에 대한 막연하고 무조건적인 신뢰가 생긴다면 인간의 미래가 AI에 의해 조종되는 디스토피아가 될 수도 있다.

청소년의 디지털 노출면을 줄이는 것도 고려해볼만 하다. 한국정보화진흥원에 따르면, 올해 한국의 초중고 학생 수 525만 명 중 99%가 스마트폰을 갖고 있다. 이들 중 40% 이상(200만 명 이상)이 과의존 위험에 빠져 있다. 심각한 수준이다. 숏폼 중독, 딥 페이크 범죄, 학교 폭력과 자살 등도 스마트폰에서 기인한다.

해외에서는 고등학교 진학 전까지는 스마트폰 사용을 금지하는 분위기가 만들어지고 있다. 미국 13개 주에서는 아동의 SNS를 제한하는 법률이 통과됐고 호주에서는 16세 미만의 SNS 가입 금지법이 추진 중이다.

2025년부터는 스마트폰에 AI가 탑재되는 온디바이스 AI가 본격화될 것으로 예상된다. 기존의 각종 문제들에 AI 의인화, AI 과의존까지 얹고 싶지 않다면 청소년의 스마트폰 사용 제한을 무겁게 고민해 봐야 할 것으로 보인다.

[서울=뉴스핌] 조용준 기자 = 태킴, 버추얼 페인팅 및 인터액티브 버튜브 아트(2022) [사진=공근혜갤러리] 2022.05.09 digibobos@newspim.com

올해 최고의 문제작으로 꼽히는 <불안세대>의 저자 조너선 하이트 교수는 "디지털 세계는 우리 아이들을 어떻게 병들게 하는가"라는 질문에 대해 "현실 세계의 과잉보호와 가상 세계의 과소 보호"에 원인이 있다고 답한다.

페르소나 AI에 대한 보다 엄격한 규제가 필요하다. 연령제한이 지켜지고 있는지 미성년자에 대한 정보수집 및 활용이 합법적으로 이뤄지고 있는지, 콘텐츠의 건전성이 유지되고 있는지, 자사 제품의 한계와 잠재적 위험성에 대해 공개하고 있는지 꼼꼼히 살펴본 후 책임 소재와 연계시킨 규제가 이뤄져야 한다.

아무리 입안의 혀처럼 굴어도 AI가 인간이 되는 것은 불가능하다. 인간의 외로움도 인간만이 이해하고 도움을 줄 수 있다. 친구인 듯 친구 같지만 결코 친구가 되지 못하는 것이 AI의 숙명이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
남편 신분증으로 대리투표자 구속 [서울=뉴스핌] 이성화 기자 = 제21대 대통령 선거 사전투표 첫날 배우자 신분증으로 대리투표를 한 선거사무원이 구속됐다. 서울중앙지법 염혜수 판사는 1일 공직선거법 위반 혐의를 받는 60대 여성 A씨에 대한 구속 전 피의자 심문(영장실질심사)을 진행한 뒤 "증거 인멸과 도망할 염려가 있다"며 구속영장을 발부했다. 제21대 대통령 선거 사전투표 첫날 배우자 신분증으로 대리 투표를 한 혐의를 받는 60대 선거사무원이 1일 구속됐다. 사진은 지난 5월 29일 한 유권자가 사전투표하는 모습. [사진=뉴스핌DB] A씨는 대선 사전투표 첫날인 지난달 29일 서울 강남구 대치2동 한 사전투표소에서 남편의 신분증으로 투표용지를 발급받아 대리 투표를 한 혐의를 받는다. 그는 약 5시간 뒤 자신의 신분증으로 다시 투표했는데 동일인이 두 번 투표하는 모습을 본 참관인의 신고로 경찰에 긴급체포됐다. 강남구 보건소 소속 계약직 공무원이던 A씨는 이번 대선에서 투표사무원으로 위촉돼 유권자에게 투표용지를 발급하는 업무를 담당한 것으로 알려졌다. 공직선거법 제248조는 성명을 사칭하거나 신분 증명서를 위조·변조해 사용하거나 기타 사위의 방법으로 투표하거나 하게 하거나 투표를 하려고 한 자는 5년 이하의 징역 또는 1000만 원 이하의 벌금에 처하도록 규정한다. 특히 선거사무에 관계있는 공무원이 사위투표 행위를 하거나 하게 한 때에는 7년 이하의 징역에 처하도록 하고 있다. 중앙선거관리위원회는 A씨를 공직선거법상 사위투표 혐의로 고발하고 사전투표 절차를 방해할 목적으로 배우자와 공모했는지 확인하기 위해 A씨 배우자에 대해서도 수사를 의뢰했다. 수서경찰서는 지난달 30일 A씨에 대한 구속영장을 신청했다. A씨는 이날 오후 1시30분께 법원에 출석하며 '대리 투표가 불법인 것을 몰랐냐'는 취재진의 질문에 "전혀 몰랐다. 순간 잘못된 선택을 했다"고 답했다. shl22@newspim.com 2025-06-01 19:37
사진
극우단체 댓글 여론 조작 의혹 [서울·청주=뉴스핌] 한태희 지혜진 기자 = 극우 단체가 댓글 조작팀을 만들어 여론을 조작했다는 의혹이 불거지자 이재명 더불어민주당 대통령 후보는 "반란 행위"라고 규정하며 국민의힘과의 연관성도 거론했다. 국민의힘은 댓글 조작팀은 김문수 대통령 후보뿐 아니라 당과 관련이 없다고 부인했다. [평택=뉴스핌] 김학선 기자 = 이재명 더불어민주당 대선 후보가 31일 경기도 평택시 배다리 생태공원 앞에서 선거 유세를 하고 있다. 2025.05.31 yooksa@newspim.com 이재명 후보는 31일 경기 평택 배다리 생태공원에서 선거 유세에서 "국민 여론을 조작하려는 것은 사실상 반란행위"라고 강하게 비판했다. 이재명 후보는 이어 "댓글을 조작하고 가짜뉴스를 쓰는 행위를 용서할 수 있나"라며 "마지막 잔뿌리까지 다 찾아내 엄중히 책임을 물어야 한다"고 강조했다. 이재명 후보는 댓글 조작팀이 국민의힘과 연관돼 있을 수 있다는 의혹을 제기했다. 이재명 후보는 "더 심각한 것은 국민의힘 관련성이 높다는 것으로 국회의원이 그 단체를 오갔다는 말도 있고 가짜 기자회견을 함께 했다는 이야기도 있다"며 "나라 뒤집어질 중범죄 행위가 나올 것 같다"고 말했다. 민주당도 거들었다. 조승래 민주당 수석대변인은 이날 충북 청주 오창프라자 앞 광장에서 긴급 브리핑을 통해 "김문수 후보와 국민의힘은 저열한 여론조작에 어디까지 가담했는지 실토하라"고 말했다. 조승래 수석대변인은 "12·3 쿠데타의 실패에도 또다시 대한민국을 집어삼키려는 극우 내란 카르텔의 여론조작을 규탄한다"면서 "김 후보와 국민의힘은 여론 조작 공작에 어디까지 가담했는지 밝혀야 하며 보도에 거명된 권성동 원내대표, 김상훈 정책위의장, 조정훈 의원은 직접 해명해야 할 것"이라고 덧붙였다. [강릉=뉴스핌] 최지환 기자 = 김문수 국민의힘 대선후보가 31일 오후 강원 강릉시 중앙시장 앞에서 열린 집중유세 현장에서 이재명 후보와 부인 김혜경 여사의 법인카드 유용 의혹을 비판하는 퍼포먼스를 하고 있다. 2025.05.31 choipix16@newspim.com 국민의힘은 반박문을 내고 일방적인 주장이라고 맞섰다. 국민의힘 중앙선대 미디어법률단은 "국민의힘과 김문수 후보는 '리박스쿨'이나 '자손군'과 아무런 관련이 없다"며 "민주당이 드루킹 댓글조작단을 운영했던 경험을 바탕으로 허위 사실로 해당 단체들과 국민의힘을 억지로 연관시키고 있는데 무리한 시도"라고 비판했다. 이어 미디어법률단은 "뉴스타파와 민주당 주장을 일방적으로 받아쓴 보도가 쏟아지고 있다"며 "유권자 민심을 왜곡할 수 있는 불공정 보도, 허위보도에 대해서는 엄중하게 법적 조치를 취하겠다"고 강조했다. 한편 온라인매체 뉴스타파는 전날 '리박스쿨'이라는 보수단체가 '댓글로 나라를 구하는 자유손가락 군대(자손군)'를 만들어 이재명·이준석 후보를 비방하고 김문수 후보를 추켜세우는 댓글을 올리고 댓글을 올린 사람에게 초등학교 늘봄학교 강사 자격증을 발급하는 여론 조작에 나섰다고 보도했다.  ace@newspim.com 2025-05-31 17:07
안다쇼핑
Top으로 이동