전체기사 최신뉴스 GAM 라씨로
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
'왕좌의 게임' 재현...넷마블 '지스타' 첫선 [서울=뉴스핌] 양태훈 기자 = 넷마블이 HBO의 메가 IP '왕좌의 게임'을 활용한 '왕좌의 게임: 킹스로드'와 국내 모바일 게임의 대중화를 이끈 '몬스터 길들이기'의 정통 후속작 '몬길: STAR DIVE'를 선보이며 글로벌 게임 시장 공략에 나선다. 8일 넷마블은 서울 구로구 지타워에서 '지스타 2024 출품작 미디어 시연회'를 열고 국제 게임 전시회 '지스타 2024'에서 선보일 신작 '왕좌의 게임: 킹스로드'와 '몬길: STAR DIVE'를 최초로 공개했다. '왕좌의 게임: 킹스로드'는 전 세계적으로 흥행한 HBO 드라마 IP를 활용한 오픈 월드 액션 RPG다. 8일 넷마블은 서울 구로구 지타워에서 '지스타 2024 출품작 미디어 시연회 현장. [사진=양태훈 기자] 장현일 넷마블네오 PD는 "워너 브라더스, HBO와 긴 시간 신중하게 협업하며 원작 팬들을 만족시킬 수 있는 게임을 만들었다"고 자신감을 보였다. 이 게임은 원작 드라마의 시즌 4 후반부를 배경으로 한다. 플레이어는 '피의 결혼식'에서 정당한 후계자를 모두 잃은 몰락한 가문의 서자 역할을 맡는다. 장 PD는 "눈과 배고픔밖에 없는 척박한 북구에서 밤의 경비대를 도우며 가문의 생존을 위해 고군분투하는 이야기"라며 "드라마에서 자세히 다루지 못한 이야기와 인물들을 보여줄 것"이라고 설명했다. '왕좌의 게임: 킹스로드'의 가장 큰 특징은 원작의 주 무대인 웨스테로스 대륙을 심리스 오픈 월드로 구현한 것이다. 드라마에 등장한 지역은 물론 나오지 않은 지역까지 철저한 고증을 거쳐 제작했다. 장 PD는 "원거리 공격으로 높은 곳의 물건을 떨어뜨리거나 재배치해 새로운 길과 숨겨진 공간을 찾는 등 다양한 퍼즐 요소도 즐길 수 있다"고 덧붙였다. 전투 시스템도 원작의 사실적인 톤을 살리는 데 중점을 두었다. 장 PD는 "마법이 난무하는 흔한 판타지가 아닌 칼과 도끼 등 현실적 무기를 기반으로 한 전투를 구현했다"고 설명했다. 플레이어는 용병, 기사, 암살자 중 하나의 클래스를 선택할 수 있으며, 각 클래스는 원작 캐릭터들에게서 영감을 받아 개발됐다. 싱글 플레이뿐 아니라 협력 중심의 멀티 플레이도 제공된다. 윈터펠 같은 대형 성에서 다른 유저들과 만나 대화하고 파티를 꾸려 던전에 도전할 수 있다. 일부 필드에서는 다른 유저들과 함께 필드 보스 전투도 가능하다. '몬길: STAR DIVE'는 모바일 게임의 대중화를 이끈 '몬스터 길들이기'의 정통 후속작이다. 8일 넷마블은 서울 구로구 지타워에서 '지스타 2024 출품작 미디어 시연회 현장. [사진=양태훈 기자] 김광기 넷마블몬스터 개발 총괄은 "원작의 세계관과 스토리, 추억의 캐릭터들을 현대적으로 재해석했다"며 "어딘가 부족해 보이는 클라우드, 혈기왕성한 베르나 등 대표 캐릭터들과 새로운 마스코트 야옹이가 펼치는 모험"이라고 소개했다. '몬길: STAR DIVE'는 전작에 비해 전투 시스템을 대폭 강화했다. 김 총괄은 "캐릭터마다 개성 있는 전투 스타일과 역할이 있어 이해도가 높아질수록 더 다양하고 효율적인 전투가 가능하다"며 "원작의 태그 플레이를 계승해 단순한 캐릭터 교체가 아닌 연계 공격과 협력 시스템으로 발전시켰다"고 설명했다. 저스트 회피, 버스트 모드 등 액션성도 강화했다. 보스 몬스터와의 전투에서는 특정 부위 파괴나 속성 활용 등 전략적 플레이가 가능하며, 야옹이와 함께하는 몬스터 포획·길들이기 시스템도 구현했다. 한편 넷마블은 오는 14일부터 17일까지 부산 벡스코에서 열리는 지스타 2024에서 100부스 규모로 두 게임을 선보인다. 170개 시연대를 통해 '킹스로드'의 프롤로그와 '몬길'의 초반 스토리를 체험할 수 있다. 중앙 무대에서는 인플루언서 대전, 버튜버 시연, 코스프레 쇼 등 다양한 이벤트도 진행할 예정이다.   dconnect@newspim.com 2024-11-08 17:01
사진
위례과천선 광역철도 민자적격성 통과 [서울=뉴스핌] 최현민 기자 = 경기 과천시와 서울 강남구, 송파구 일원을 연결하는 위례과천선 사업이 본궤도에 오른다.   국토교통부는 위례과천 광역철도사업이 한국개발연구원(KDI)의 민자적격성 조사를 통과했다고 7일 밝혔다. 위례과천선은 서쪽으로는 정부과천청사, 동쪽으로는 송파구 법조타운과 위례신도시를 연결하고 북쪽으로는 강남구 압구정까지 연결하는 총 연장 28.25km의 광역철도 사업으로 민간투자방식으로 지어진다.  위례과천선 노선도안 [자료=국토부] ※노선 미확정 위례과천선은 제4차 국가철도망 구축계획 반영 후 2021년 12월 '대우건설 컨소시엄'에서 국토부에 최초제안서를 제출했으며 제안서 검토 및 지자체 협의과정을 거쳐 2022년 9월 민자적격성 조사에 착수했다. 민자적격성 조사 과정에서 원자재 가격 급등, 양재첨단물류단지 개발 등 여건 변화가 발생했고 경제성을 최대한 확보하기 위한 사업계획 보완을 거쳐 올해 11월 최종적으로 사업의 타당성을 인정받았다. 특히 본 사업 영향권에 있는 9개 공공주택지구에 총 8만6000명 규모의 입주가 예정돼 있어 신규 철도노선을 통해 선제적으로 교통난을 해소해 나갈 계획이다. 입주 예정 지구는 과천주암 공공지원주택지구, 서울강남 공공주택지구 등이다. 다만 노선안은 아직 확정되지 않았다. 국토부는 세부노선 및 역사는 실시협약 체결 시 확정‧공개할 방침이다.  윤진환 국토부 철도국장은 "내년 전략환경영향평가를 마무리하고 제3자 제안 공고를 통해 우선협상대상자를 선정해 협상까지 착수하는 것을 목표로 속도감 있게 사업을 추진할 계획"이라고 말했다. min72@newspim.com 2024-11-07 17:36
안다쇼핑
Top으로 이동