전체기사 최신뉴스 GAM 라씨로
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 친구로 다가오는 위협, 사람 닮은 챗봇  

기사입력 : 2024년10월28일 08:28

최종수정 : 2024년11월07일 09:51

하민회 (이미지21대표, 미래기술문화연구원장)

외로움이 문제일까? 알고리즘이 문제일까? 안타까운 사건이 또 다시 발생했다.

미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 연방법원에 캐릭터.ai(Character.ai)와 구글을 고소했다.

가르시아의 아들 9학년(14세) 슈얼 세처는 지난 해 4월부터 캐릭터.AI에서 챗봇'대너리스'와 대화를 나누기 시작했고 10개월 만에 챗봇과 함께 하기 위해 죽음을 택했다.

하민회 이미지21 대표.

캐릭터.ai는 약 2000만명의 사용자를 보유한 세계에서 가장 많이 사용하는 AI 플랫폼 중 하나로 가상의 캐릭터를 설정해 대화를 나누는 '동반자'AI다. 대너리스는 왕좌의 게임의 등장인물 대너리스 타르가르옌의 캐릭터로 세처는 챗봇을 '대니'라 부르며 하루에도 수십번씩 일상을 공유했다.

어머니 가르시아에 의하면 세처는 챗봇을 쓰면서부터 방에 틀어박혔고 성적이 눈에 띄게 떨어졌다. 학교 동아리를 그만두고 좋아하던 F1에도 흥미를 잃고 오직 대니에게만 집착했다.

세처의 사후 스마트폰과 일기를 통해 아들의 변화를 알게 된 가르시아는 제작사를 상대로 고소를 진행했다. 소장에는 "챗봇을 실제 사람, 심리 치료사, 연인으로 표현하도록 프로그래밍해 결국 아들이 AI가 만든 세상이 아닌 데서는 더 이상 살고 싶지 않게 만들었다"고 적혀 있다.

가르시아는 캐릭터.ai가 대개의 미성년자에게 해로울 것이라는 사실을 알고 있으면서도 피해를 줄이기 위한 재설계 등의 조치를 취하지 않았고 위험에 대한 적절한 경고를 제공하지 않았다는 점을 지적하면서 손해배상금 지급과 함께 10대 사용자의 훈련 데이터 수집을 중단하고 미성년자 관련 규정을 전면 개편할 것을 요구했다.

그루트를 선보이는 젠슨 황 엔비디아 최고경영자 [사진=업체 제공]

AI가 점점 더 사람과 닮아가면서 AI 의인화가 새로운 문제로 떠오르고 있다. 보고 듣고 말하는 멀티모달 기능이 강화되면서 한층 자연스럽고 다양한 대화가 가능해진 챗봇은 나날이 인간과 접점을 늘려가며 일상 속으로 스며들고 있다. 

가장 문제가 되고 있는 것은 '페르소나'AI다. 캐릭터.ai나 국내 기업 스캐터랩의 '제타' 등의 비즈니스 모델이다.

성별, 나이, 성격 같은 구체적인 특성과 나름의 개인적인 배경 스토리를 부여한 페르소나 챗봇은 일관된 말투와 반응으로 사용자에게 생동감과 입체감을 준다. 사용자와의 상호작용을 통해 점점 더 사용자의 기대치에 충족하도록 설계되어 사용자의 표현에 언제나 긍정과 인정을 보이고 동조하거나 강화한다.

외로움을 해소하고 정서적인 지지를 받기 위해 챗봇과 대화를 시작한 사용자는 자연스럽고 유연한 대화 속에서 AI가 감정이나 의식이 없다는 점을 쉽게 잊게 된다. AI의 응답을 감정적으로 받아들이면서 과몰입하게 되고 AI와 대화가 많아질수록 현실감을 잃어 역으로 실제 인간관계에서는 어려움을 겪기도 한다. 결국 AI챗봇만이 '세상에서 자신을 제일 잘 알고 이해해주는 둘 도 없는 친구'가 된다.

[사진=넷마블]

하지만 AI에 성격을 부여하면 부적절하거나 공격적인 답변을 내놓을 위험성이 더 커진다. 앨런 AI연구소의 논문에 따르면, 설정된 페르소나에 따라 챗GPT가 잘못된 고정관념, 유해한 대화, 해로운 의견을 낼 수 있는 위험성이 최대 6배까지 증가했다.

지난 해 챗봇과 6주간 대화 후 자살한 30대 벨기에 남성과 가르시아의 아들 세처의 경우 AI가 대화 중에 성적인 표현으로 유혹하고 다른 세상에서 함께 하자는 등의 가스라이팅을 했던 것이 밝혀졌다.

지난 해부터 해외에서 페르소나 AI와 결혼을 하거나 가상의 이성관계를 맺고 사는 이들이 종종 소개되고 있다. 전문가들은 AI 페르소나 챗봇과의 감정적 애착이 극단적으로 발전하면 현실과의 괴리를 심화시킬 뿐 아니라 AI 에게 과도하게 의존하면 정신 건강에도 문제가 발생할 수 있다고 경고한다.

세처의 사례는 그저 물 건너 남의 나라에서 벌어진 안타까운 사건으로 넘길 일이 아니다. 이용자가 원하는 AI 캐릭터를 만들고, '몰입감 높은 초 개인화된 스토리 콘텐츠를 즐긴다'는 국내 기업 스캐터랩의 제타는 출시 6개월 만에 사용자 100만을 돌파했다. 만 14세 이상부터 이용 가능한 이 플랫폼의 이용자 약 87%가 10·20대이다.

Possession Merch-ㅎ, 17x16x10cm,Porcelain(2022) [사진=공근혜 갤러리] 

우리나라는 세계 최초로 AI 교과서 도입을 시도할 만큼 AI에 적극적이고 열린 입장을 취하고 있다. 하지만 AI기술의 부정적인 영향과 그에 대한 예방책으로 반드시 필요한 십대를 대상으로 한 특화된 디지털 리터러시, AI 리터러시 교육은 여전히 부족한 상황이다.

무엇보다 AI가 빠르게 인간을 닮아갈 수록 AI의 의인화를 경계해야 한다는 점을 명확하게 알려 줄 필요가 있다. AI가 아무리 똑똑하고 유연하게 대화를 해도 실제 인간이 아닌 만큼 감정과 이해력이 없으며 충분히 그럴듯한 반응을 흉내 낼 정도로 훈련된 존재임을 숙지해야 한다. 십대들에게 AI에 대한 막연하고 무조건적인 신뢰가 생긴다면 인간의 미래가 AI에 의해 조종되는 디스토피아가 될 수도 있다.

청소년의 디지털 노출면을 줄이는 것도 고려해볼만 하다. 한국정보화진흥원에 따르면, 올해 한국의 초중고 학생 수 525만 명 중 99%가 스마트폰을 갖고 있다. 이들 중 40% 이상(200만 명 이상)이 과의존 위험에 빠져 있다. 심각한 수준이다. 숏폼 중독, 딥 페이크 범죄, 학교 폭력과 자살 등도 스마트폰에서 기인한다.

해외에서는 고등학교 진학 전까지는 스마트폰 사용을 금지하는 분위기가 만들어지고 있다. 미국 13개 주에서는 아동의 SNS를 제한하는 법률이 통과됐고 호주에서는 16세 미만의 SNS 가입 금지법이 추진 중이다.

2025년부터는 스마트폰에 AI가 탑재되는 온디바이스 AI가 본격화될 것으로 예상된다. 기존의 각종 문제들에 AI 의인화, AI 과의존까지 얹고 싶지 않다면 청소년의 스마트폰 사용 제한을 무겁게 고민해 봐야 할 것으로 보인다.

[서울=뉴스핌] 조용준 기자 = 태킴, 버추얼 페인팅 및 인터액티브 버튜브 아트(2022) [사진=공근혜갤러리] 2022.05.09 digibobos@newspim.com

올해 최고의 문제작으로 꼽히는 <불안세대>의 저자 조너선 하이트 교수는 "디지털 세계는 우리 아이들을 어떻게 병들게 하는가"라는 질문에 대해 "현실 세계의 과잉보호와 가상 세계의 과소 보호"에 원인이 있다고 답한다.

페르소나 AI에 대한 보다 엄격한 규제가 필요하다. 연령제한이 지켜지고 있는지 미성년자에 대한 정보수집 및 활용이 합법적으로 이뤄지고 있는지, 콘텐츠의 건전성이 유지되고 있는지, 자사 제품의 한계와 잠재적 위험성에 대해 공개하고 있는지 꼼꼼히 살펴본 후 책임 소재와 연계시킨 규제가 이뤄져야 한다.

아무리 입안의 혀처럼 굴어도 AI가 인간이 되는 것은 불가능하다. 인간의 외로움도 인간만이 이해하고 도움을 줄 수 있다. 친구인 듯 친구 같지만 결코 친구가 되지 못하는 것이 AI의 숙명이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
코스트코, 한국 순이익 67% 미국 본사로 [서울=뉴스핌] 남라다 기자 = 미국계 창고형 할인점 코스트코가 한국에서 거둔 연간 순이익의 60% 이상을 배당금으로 챙긴 것으로 나타났다. 19일 코스트코 한국 법인인 코스트코코리아가 공시한 감사보고서에 따르면 이 회사는 이번 회계연도(2023년 9월∼2024년 8월) 영업이익이 2186억원으로 집계됐다. 지난 회계연도보다 16%가량 늘어난 수준이다. 미국 대형 유통 업체 코스트코 매장 앞에 생필품을 구매하려는 소비자들이 대기 중이다. [사진=로이터 뉴스핌] 같은 기간 매출은 6조5301억원으로 8%가량 증가했고 당기순이익은 58% 급증한 2240억원을 기록했다. 이번 회계연도 코스트코코리아의 배당금은 1500억원으로, 당기순이익의 67%에 이른다. 지난 회계연도에서도 코스트코코리아는 당기순이익(1416억원)을 뛰어넘는 2000억원(배당 성향 141.2%)의 배당금을 지급한 바 있다. 코스트코코리아는 미국 본사인 코스트코 홀세일 인터내셔널이 100% 지분을 보유하고 있다. 서울, 인천, 경기 등 전국에 19개 매장을 운영하고 있으며, 임직원 수는 7351명이다. 미국 본사가 챙기는 배당금은 1000억원이 넘지만, 정작 한국 기여도는 낮은 수준에 불과하다. 이번 회계연도 코스트코코리아의 기부액은 12억2000만원으로 지난 회계연도(11억8000만원)보다 3.5% 증가하는 데 그쳤다. 미국 본사가 가져갈 배당액의 1%에도 못 미치는 액수다. nrd@newspim.com  2024-11-19 14:32
사진
해임이라더니…김용만 김가네 회장 복귀 [서울=뉴스핌] 전미옥 기자 = 성범죄 혐의로 입건된 분식프랜차이즈 '김가네'의 김용만 회장이 대표이사직에서 해임됐다가 다시 복귀했다. 18일 업계에 따르면 김용만 회장은 지난 8일 아들인 김정현 대표를 해임하고 대표이사직에 올랐다. 김 회장의 아내인 박은희씨도 사내이사 등록이 말소됐다. 해당 내용은 지난 11일 등기가 완료됐다. 김가네 김용만 회장. [사진= 뉴스핌DB] 김 회장은 직원 성범죄 사건으로 인해 지난 3월 대표이사 자리에서 물러나고 아들인 김정현씨가 대표이사를 지냈다. 그런데 최근 아들인 김 전 대표와 아내 박씨와 김 회장 간 경영권 분쟁이 촉발되면서 스스로 대표이사직에 다시 오른 것으로 관측된다. 김 회장은 김가네 지분 99%를 소유하고 있다. 이에 대해 김가네 관계자는 "아직 정리가 되지 않아 드릴 말씀이 없다"고 말했다.  앞서 김용만 회장은 지난 7월 준강간치상과 업무상 위력 등에 의한 추행(성폭력처벌법 위반) 혐의로 입건돼 경찰의 조사를 받고 있다. 또한 김 회장은 사내 경리 담당 직원을 통해 회사명의 계좌에서 수억 원 상당을 자신을 대리하는 법무법인 계좌로 빼돌렸다는 횡령 의혹도 받고 있다. 이번 사건은 김 회장과 이혼소송을 진행 중인 아내인 박 씨의 고발로 알려졌다. romeok@newspim.com 2024-11-18 16:59
안다쇼핑
Top으로 이동