전체기사 최신뉴스 GAM 라씨로
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
기후동행카드, 고양·과천도 30일부터 [서울=뉴스핌] 이경화 기자 = 서울시는 '기후동행카드'가 오는 11월 30일 첫 차부터 고양시와 과천시까지 서비스를 확장한다고 21일 밝혔다. 이로써 서울~고양~과천을 오가는 시민들도 월 5만~6만원대로 기후동행카드의 무제한 혜택을 받을 수 있게 된다. 지난 1월 27일 서울 지역을 대상으로 출발한 기후동행카드는 3월 30일 김포골드라인, 8월 10일 진접선·별내선까지 확대됐다. 서울 공동생활권인 인구 100만의 대규모 도시 고양시와 지리적으로 서울시와 경기남부의 길목에 위치한 과천시까지 연결됨에 따라 수도권으로 본격 확대되는 계기가 될 것으로 시는 기대한다.  서울 외 지역 기후동행카드 이용 가능 도시철도 구간 [이미지=서울시] 서울시와 고양시, 과천시는 지난해 2~3월 기후동행카드 참여 업무협약을 체결한 이후 후속 논의를 통해 구체적인 시행방안을 마련하고 11월 30일 고양시(3호선·경의중앙선·서해선), 과천시(4호선)의 기후동행카드 참여를 확정지었다. 관계기관들과 함께 시스템 개발·최종 점검을 완료했다. 이번 확대로 3호선은 고양시 일산서구 대화역에서 서울시 송파구 오금역까지 모든 역사(44개)에서 기후동행카드를 이용할 수 있게 된다. 경의중앙선은 고양시 일산서구 탄현역에서 구리시 구리역까지 34개 역사, 서해선은 고양시 일산서구 일산역에서 서울시 강서구 김포공항역까지 7개 역사, 4호선은 남양주시 진접역에서 과천시 정부과천청사역사까지 34개 역사에서 기후동행카드를 이용할 수 있다. 이에 더해 현재 기후동행카드 서비스 범위에 이미 고양시를 경유하는 서울 시내버스 28개 노선과 과천시를 경유하는 6개 노선이 포함돼 있음을 고려하면 서울과 고양·과천을 통근·통학하는 약 17만 시민의 이동 편의가 더욱 증진될 것으로 보인다.  또 이용범위가 대폭 확대되면서 과천·고양 등 시민들도 기후동행카드의 다양한 문화 혜택을 동일하게 누릴 수 있다. 과천시 4호선 확대로 대공원역도 기후동행카드를 이용할 수 있는 만큼 방문 시 서울대공원 50% 할인 등 혜택을 참고하면 된다.  기후동행카드는 올해 1월 23일 서비스 시작 이후 70일 만에 100만 장이 팔리는 등 시범사업 단계부터 큰 호응이 확인된 바 있다. 7월부터 본사업에 들어가면서 청년할인권·관광객을 위한 단기권 등 다양한 혜택이 더해졌다. 평일 최대 이용자가 65만명이 넘어가는 등 인기가 지속되고 있다. 서울시는 고양·과천 지하철 적용을 시작으로 수도권 시민들에게도 실질적인 혜택을 제공할 수 있도록 관련 협의·시스템 개발 검토를 적극 추진할 계획이다. 향후 기후동행카드의 무제한 확장을 위한 타 경기도 지자체와의 논의 역시 급물살을 탈 것으로 기대된다고 시는 덧붙였다.  기후동행카드를 이용하려면 안드로이드 기반 휴대전화에서 '모바일티머니' 앱을 무료로 다운받아 충전하면 된다. 실물카드는 서울교통공사 1~8호선 고객안전실, 지하철 인근 편의점 등에서 구매한 후 서울교통공사 1~8호선, 9호선, 신림선·우이신설선 역사 내 충전기에서 권종을 선택·충전 후 사용할 수 있다.  기후동행카드의 고양시, 과천시 확대 등에 관한 자세한 내용은 고양시(031-909-9000), 과천시(02-3677-2285), 서울시 120 다산콜센터로 문의하면 된다. 윤종장 서울시 교통실장은 "김포·남양주·구리에 이어 고양·과천 확대로 경기도 동서남북 주요 시군까지 기후동행카드의 무제한 대중교통 혁신이 이어지고 있다"며 "교통비 절감·생활 편의·친환경 동참 등 일상 혁명을 수도권 시민들까지 누릴 수 있도록 수도권 지역 서비스 확대·편의 향상에 총력을 기울이겠다"고 말했다.  kh99@newspim.com 2024-11-21 11:15
사진
김승연 회장, 시흥R&D캠퍼스 첫 방문 [서울=뉴스핌] 김아영 기자 = 김승연 한화그룹 회장이 지난해 5월 공식 출범한 한화오션 사업장을 처음 찾았다.  한화그룹은 김승연 회장이 20일 '한화오션 중앙연구원 시흥R&D캠퍼스'를 방문했다고 밝혔다.  김승연 회장(가운데)이 한화오션 시흥R&D캠퍼스를 방문해 임직원들과 오찬 후 기념촬영을 하고 있다. [사진=한화그룹] 현장을 둘러본 김 회장은 미국 등 글로벌 시장 선점을 위한 초격차 기술경쟁력 확보를 강조했다. 해양 탈탄소 시대를 선도할 그린십(Green Ship) 기술과 방산 기술 혁신으로 조선·해양 분야에서 지속가능한 글로벌 강자로 자리매김할 것을 주문한 것이다. 이날 행사에는 김동관 한화그룹 부회장과 김희철 한화오션 대표이사, 손영창 한화오션 제품전략기술원장도 참석했다. 김승연 회장과 김동관 부회장이 한화오션 시흥R&D캠퍼스의 상업용 세계 최대 공동수조를 방문해 시연을 지켜보고 있다.[사진=한화그룹] 한화오션 시흥R&D캠퍼스는 상업용 세계 최대 규모의 공동수조와 예인수조, 국내 유일의 음향수조 등 첨단 시험 설비를 갖추고 있다. 이를 통해 조선·해양·방산 분야 친환경 초격차 기술 개발을 선도하는 핵심 연구 거점이다. 기술 리더십의 중요성을 강조해온 김승연 회장이 시흥R&D캠퍼스를 찾은 이유이기도 하다.  김승연 회장은 먼저 공동수조(Cavitation Tunnel)를 방문해 연구진의 시연을 지켜봤다. 상업용 세계 최대 규모의 한화오션 공동수조는 길이 62m, 높이 21m의 대형 터널로, 최대 출력 4.5MW 모터와 3600톤의 물을 통해 최대 15m/s의 유속을 형성할 수 있다. 특히, 선박의 추진력을 높이고 수중 방사 소음을 줄이는 연구 성과는 함정의 은밀성과 생존성을 강화하는 방산 기술 개발에도 활용되고 있다. 예인수조를 방문한 김 회장은 임직원들과 함께 수조 내 모형선을 끄는 예인전차에 탑승해 고품질 선박 성능 시험을 참관했다. 한화오션의 예인수조는 길이 300m·폭 16m, 담수량 3만3,600톤으로 세계 최대 규모 최신 시설을 자랑한다. 상선, 함정 등 다양한 선박의 저항, 운동, 조종 성능 등에 맞춤식으로 시험할 수 있다. 김승연 회장이 한화오션 시흥R&D캠퍼스 예인수조를 둘러본 후 임직원들과 기념사진을 촬영하고 있다. [사진=한화그룹] 김 회장은 이 날 임직원들과 함께한 자리에서 "여러분은 한화그룹의 자산이자 대한민국 산업의 자산"이라며 "대한민국의 국익과 국격에 기여한다는 뜨거운 사명감을 갖고 연구에 임해주기 바란다"고 당부했다. 이어 "더 밝게 빛날 한화의 미래에 조선해양 부문이 가장 앞에 서 있을 것을 믿어 의심치 않는다"며 "한화 가족 모두는 우리 그룹의 일원으로서 함께 나아갈 한화오션의 미래에 큰 기대를 가지고 있다. 여러분이 가진 무한한 잠재력과 기술 역량으로 새 시대를 선도해 나가길 바란다"고 덧붙였다. 김승연 회장은 3D 프린팅 기술을 활용해 동일한 형상으로 축소된 프로펠러 모형을 제작하여 다양한 성능을 예측·평가하는 모형제작워크샵에 대한 설명도 들었다. 이곳에서 김승연 회장은 한화오션이 수출형 모델로 독자 개발한 2000톤급 잠수함 모형에 'K잠수함 수출로 글로벌 No.1 도약을 기원합니다'라고 적고 친필 서명하며 해외 수출 성공을 기원했다. 한화오션의 2000톤급 잠수함은 현존하는 디젤 잠수함 중 최고로 평가 받는 장보고-III 플랫폼에 기반해 자체 개발한 중형급 잠수함으로 최신 기술과 다양한 요구사항을 적용한 모델이다. 김승연 회장은 직원 식당에서 임직원들과 오찬도 함께 했다.  김승연 회장이 한화오션 시흥R&D캠퍼스를 방문해 임직원들에게 격려의 메시지를 전하고 있다. [사진=한화그룹] 김 회장은 이 날 한화오션 임직원들에게 "한화는 여러분들이 마음껏 연구 역량을 펼칠 수 있도록 거친 파도를 막아주는 든든한 방파제가 될 것"이라며 굳건한 신뢰의 뜻을 전했다. 한화오션은 시흥R&D캠퍼스의 첨단 인프라를 바탕으로 지속 가능한 해양 솔루션을 개발하고 미래 해양 산업의 변화를 주도하는 글로벌 오션 솔루션 프로바이더로 도약하기 위한 행보를 이어갈 예정이다.  aykim@newspim.com 2024-11-20 15:33
안다쇼핑
Top으로 이동