전체기사 최신뉴스 GAM
KYD 디데이
산업 전기·전자

속보

더보기

[갤럭시 언팩] "온디바이스 AI 폰 구현 해낸 비결은 'LLM 경량화'"

기사입력 : 2024년01월21일 16:00

최종수정 : 2024년01월21일 16:00

모바일 내에서 구동할 수 있는 LLM 경량화 기술 연구
사용자가 AI 기능 사용 여부 선택 가능
디바이스 확장한 갤럭시 생태계 시사

[새너제이(캘리포니아)=뉴스핌] 조수빈 기자 = 갤럭시S24의 주요 인공지능(AI) 기능인 실시간 통화 통역, 챗 어시스트나 노트어시스트 기능의 뒤엔 거대언어모델(LLM)이 숨어있다. 많은 데이터와 메모리를 필요로 하는 거대언어모델을 어떻게 모바일이라는 한정된 공간에서 구동하게 만들었을까.

김영집 삼성전자 MX사업부 랭귀지 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터에서 갤럭시 AI 개발 배경에 대해 설명하고 있다. [사진=삼성전자]

삼성전자는 삼성의 자체 LLM인 '삼성가우스'의 일부 기능을 경량화 한 갤럭시 AI를 탄생시켰다. 김영집 삼성전자 MX사업부 언어 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터(SRA)에서 삼성전자의 첫 AI 폰 갤럭시S24에 탑재된 주요 AI 기능의 개발 비하인드를 밝혔다.

김영집 부사장은 삼성전자 무선사업부에서부터 AI를 연구해왔고 SRA 모바일 플랫폼 솔루션(MPS) 랩장을 거쳐 현재는 MX 사업부에서 언어 AI 팀을 이끌며 갤럭시S24 AI 모델 탄생에 기여한 인물이다. 

◆경량화 모델 집어넣어 탄생시킨 '갤럭시 AI'…모바일 특화 LLM

갤럭시 AI는 음성인식, 번역, 음성합성, 거대언어모델 등 크게 6개의 기술을 주축으로 한다. 음성인식과 번역은 기존에도 AI 기능들이 많이 활용되던 분야 중 하나다. 그러나 더 실제 대화 같은 실감나는 언어 동작을 위해선 더 많은 컴퓨팅 파워와 메모리가 필요하다. 

특히 모바일은 활용할 수 있는 메모리(램)에 한계가 있어 PC보다 훨씬 더 압축적인 시스템이 요구된다. AI 학습의 단계에는 검색 모델을 제너럴하게 학습한 후 불필요하거나 중요도가 낮은 데이터를 쳐내는 가지치기인 '프루닝', 특정 데이터로 강화 학습을 시키는 '파인튜닝' 등이 수반된다. 이러한 과정을 거쳐 LLM이 고도화된 성능을 발휘할 때쯤이면 그를 훈련시키는 매개변수(파라미터) 수도 많아진다.

하지만 대상 모델이 PC가 아니라 모바일이기 때문에 필요한 부분에 특화한 형태로 개발하면서 동시에 성능 저하는 없도록 만드는 것이 관건이었다. 이 과정에 들어간 기술들이 삼성전자의 온디바이스 AI 폰을 구현할 수 있었던 배경이라고 김 부사장은 설명했다. 

갤럭시 AI의 주요 기능인 실시간 통화 통역 기능에서도 이 기술이 빛을 발한다. 음성인식과 번역은 오래 전부터 AI 기술이 활용되던 기능이었다. 김 부사장은 "기존 음성인식 AI 모델이 간단한 명령어를 인식하는 수준에 집중했다면 갤럭시 S24는 일상생활에서 사용자들이 말하는 것을 모두 인식할 수 있는 수준으로 설계를 새로 했다"고 말했다. 언어모델 학습 방식도 바꿨다.

전통적인 AI 학습의 경우 언어별로 AI 모델을 설계하고 학습한다. 그러나 그 과정에서 특정 언어에 성능이 치우치는 등의 문제가 발견됐고, 이를 개선하기 위해 언어 구분 없이 모두 학습한 후 필요한 전통적인 트레이닝 방식에선 언어별로 AI 모델을 설계하고 트레이닝해왔으나 특정 언어에 치우친 성능 등의 문제를 발견했고 이를 개선하기 위해 언어 구분 없이 모두 학습한 후 필요 없는 기능을 제거하는 파인튜닝을 통해 디바이스 내에서 AI 기능을 무리없이 구현할 수 있게 했다.

김영집 삼성전자 MX사업부 랭귀지 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터에서 갤럭시 AI 개발 배경에 대해 설명하고 있다. [사진=삼성전자]

◆"사용자 중심의 맞춤형 폰 탄생"…사용자 패턴 학습은 안한다

번역의 경우 사용자가 해당 기능을 사용하는 환경을 고려했다. 김 부사장은 "로밍이 필요하거나 네트워크가 불안정한 해외 지역에서도 안전하게 번역을 쓸 수 있도록 네트워크 없이도 번역 서비스를 이용할 수 있게 하자는 것이 핵심이었다"고 설명했다. 이를 위해 기존에 보유한 대형 모델은 온디바이스 최적화 버전으로 성능 손실 없이 빠르게 동작할 수 있게 개발했다.

개인맞춤형 디바이스를 지향하지만 갤럭시S24는 아직 사용자 패턴을 학습하지는 않는다. 김 부사장은 "사용자 패턴은 일종의 양날의 검"이라면서도 "결국 사용자를 위한 맞춤형 기능으로 가야한다는 점엔 공감하기에 안전을 보장하면서 개인만의 기능을 구현하기 위한 기술은 개발 중"이라고 부연했다. 공통적으로 사용자가 원하는 기능은 소프트웨어 업그레이드 등으로 보완한다.

AI 학습 데이터에 대한 윤리 원칙도 별도로 마련해 공정하고 투명하고 책임 있는 AI 사용을 보장한다. 의도한 내용이 아닌 데이터나 사실이 아닌 내용을 생성하는 할루시네이션 등을 방지하기 위해 세이프필터와 세이프가드도 탑재했다.

◆AI 온·오프 가능…온디바이스 최적화 디바이스 확장성도 제시

갤럭시S24에 탑재된 AI 기능은 사용자가 사용을 선택할 수 있다는 점도 특징이다. 사용자의 정보가 온라인 서버를 거쳐야 하는 클라우드 AI 기능의 경우 '향상된 인텔리전스 설정'에서 데이터를 일괄 차단할 수 있게 해 사용자의 선택권도 보장한다. 해당 기능을 차단할 경우 사용성에서 차이는 생긴다. 김 부사장에 따르면 클라우드 기반 번역에서 쓸 수 있는 언어는 38가지로 늘어나지만 기능을 차단하면 서버 연결을 하지 않더라도 13개 언어는 사용할 수 있다.

김 부사장은 "갤럭시S24는 최초의 AI폰을 추구하지만, 이번 제품 출시는 시작일 뿐"이라며 "사용자 경험은 더 개선되고 심화될 것이며 최종적으론 갤럭시 생태계 내 기기와 기기가 연결되고, 사용자를 이해하고 사용자를 위한 동작을 하는 '갤럭시 에코시스템'을 구축하고자 한다"고 강조했다. 현재 갤럭시 AI는 갤럭시S24에 최적화된 모델이지만 앞으로의 확장성도 의미한다. 김 부사장은 "대부분의 사용자들이 쓰고 있는 삼성전자의 제품에는 대부분 AI가 들어가 있다"며 "더 발전된 형태로 모든 사용자에게 확대될 것이다. 타블렛, 워치와 같은 웨어러블 기기, 노트북 등까지 지원될 것으로 보인다"고 전망했다. 

올해 상반기 내에는 지난해 출시된 제품인 갤럭시S23과 갤럭시Z플립5, 갤럭시Z폴드5 등에서도 갤럭시 AI 기능을 활용할 수 있도록 업데이트가 진행된다. 김 부사장은 "모델별로 사양 차이가 조금씩 있기 때문에 하드웨어적인 성능의 한계가 있는 몇 가지 기능을 제외하곤 대부분 동일한 기능이 제공될 것"이라고 설명했다.

갤럭시 AI 유료화 정책에 대해선 2025년까진 무료라는 입장이 유지됐다. 김 부사장은 "2025년 이후 계획에 대해선 논의된 바가 없다"고 덧붙였다.

SRA 내부를 돌아다니는 패트롤 파우(patrol paw) 경비 로봇. [사진=조수빈 기자]

한편 SRA는 삼성전자의 모바일, 헬스 및 메디컬, 네트워크, 디스플레이, 가전 등을 포괄하는 디바이스 경험(DX) 부문의 선행 연구개발 조직으로, 국내외 14개국에 15개 연구소를 운영하고 있다. 그중 실리콘밸리에 위치한 SRA는 삼성전자의 해외 R&D 핵심기지로 갤럭시 AI 등 여러 기술 개발 지원에 앞장서고 있다. 현장에선 경비견 로봇 '패트롤 파우(patrol paw)'가 SRA를 순찰하고 있어 눈길을 끌었다.

beans@newspim.com

[뉴스핌 베스트 기사]

사진
"7월 1일 출석하라" 재통보 [서울=뉴스핌] 홍석희 기자 = 내란 특별검사팀이 윤석열 전 대통령에게 오는 7월 1일 오전 9시에 2차 대면조사를 위해 출석해 달라고 통보했다. 박지영 내란 특검보는 29일 저녁 서울고검 청사에서 브리핑을 열고 "소환 일정과 관련해 윤 전 대통령 측 의견을 접수했고 제반 사정을 고려해 7월 1일 오전 9시에 출석하라고 통지했다"고 밝혔다. [서울=뉴스핌] 이형석 기자 = 윤석열 전 대통령이 29일 새벽 서울 서초구 서울고검 청사에 마련된 내란특검에서 피의자 신분으로 조사를 마친 뒤 귀가하고 있다. 2025.06.29 leehs@newspim.com 박 특검보는 "(소환 일정) 협의는 합의가 아니"라며 "결정은 수사 주체가 하는 것이고 윤 전 대통령 측 의견을 접수한 뒤 특검의 수사 일정이나 여러 필요성 등을 고려해 출석 일자를 정해서 통지한 것"이라고 설명했다. 다만 "변호인단 측의 반응은 아직 없다"고 덧붙였다. 앞서 특검팀은 윤 전 대통령 측에 오는 30일 출석하라고 통보했으나, 윤 전 대통령 측은 방어권 보장 등을 이유로 오는 7월 3일 이후로 조사 일정을 잡아 달라고 요청했다. 이에 특검팀이 당초 날짜보다 하루 늦은 7월 1일 조사를 진행하겠다고 재통보한 것이다. 특검팀은 경찰청에 수사방해 사건 전담 경찰관 파견을 요청했다고도 밝혔다. 윤 전 대통령 측이 지난 28일 첫 대면조사에서 박창환 경찰청 중대범죄수사과장(총경) 교체를 요구하며 조사를 거부한 행위가 특검법상 수사방해 행위에 해당한다고 특검팀은 판단하고 있다.  박 특검보는 "(윤 전 대통령 측 변호인이) 변론의 영역을 넘어선 사실과 다른 주장을 하고 있다. 이는 특검법에서 정한 수사방해 행위로 평가될 수 있다"며 "더 이상 좌시하지 않겠다. 특검은 수사방해 사건을 전담할 경찰관 3명을 경찰청에 파견 요청했다"고 말했다. 이어 "특검법 수사 대상에 보면 일련의 수사 방해나 재판 방해도 수사의 대상이 돼 있다"며 7월 1일 2차 대면조사에서도 박 총경이 계속 조사할 것이라고 부연했다. hong90@newspim.com 2025-06-29 22:14
사진
"주담대 6억 이상은 안됩니다" [서울=뉴스핌] 전미옥 기자 = 이재명 정부가 출범 약 한 달 만에 초고강도 부동산 대출 규제 정책을 내놓은 가운데 수도권 집값 상승세에 제동이 걸릴지 주목된다. 가계 대출 총량을 절반으로 확 조이고 수도권 주택담보대출(주담대) 한도를 6억원으로 일괄 제한하는 방향이다. 금융위원회가 지난 27일 관계기관 합동 '긴급 가계부채 점검회의'를 열고 대출 규제를 골자로 한 수도권 중심의 가계부채 관리 강화 방안에 따르면 지난 28일부터 총액 한도가 없는 주담대를 수도권과 규제지역(서울 강남·서초·송파·용산구)에 한해 최대 6억원으로 제한된다. 고가 주택 구입에 대출을 활용하는 것을 막기 위한 조치다. 서울 시내 한 시중은행 창구 모습. [사진= 뉴스핌DB] 다주택자에 대한 신규 주담대는 주택담보대출비율(LTV) 0%를 적용해 전면 금지하며 1주택자 갈아타기 주담대 규제도 강화된다. 기존에는 보유 주택을 2년 이내 처분하기로 약정하면 주담대를 받을 수 있었지만 앞으로는 6개월로 처분 기간이 줄었다. 위반 시에는 대출금 즉시 회수되고 향후 3년간 주택 관련 대출이 제한된다. 생애 최초 주택구입 목적의 LTV도 기존 80%에서 70%로 줄어든다. LTV는 자산 담보가치에 대한 대출 비율을 뜻한다. 7월부터는 금융권 자체 대출과 정책대출의 총량 목표를 당초 계획 대비 50% 수준으로 감축하며 정책 대출은 연간 공급 계획 대비 25% 줄인다. 은행의 대출 가능 총량이 줄어드는 것이다. 당초 7월 시행 예정이었던 스트레스 DSR(총부채상환비율) 3단계 조치에 이어 이번 초강도 대출규제가 중첩되면서 주택 구매를 위한 대출문턱은 더 높아지게 된다. 예컨대 스트레스 DSR 3단계만 적용 시 연봉 1억원 직장인이 만기 30년, 원리금균등상환, 대출금리 4%의 조건으로 수도권 지역에서 생애 최초 주택구입 목적의 변동 주택대출을 받을 때 대출한도는 5억8700만원으로 기존 2단계 대비 2000만원가량 줄어든다. 또 수도권 가산금리 1.5%P가 더해져 금리는 5.5%가 적용된다. 여기에 7월부터 시행하는 정부의 고강도 대출 정책인 '가계대출 관리 강화 방안'이 더해지면서 대출한도는 이보다 더 줄어들 전망이다. 하반기 가계대출 총량 목표가 기존 대비 50%가량 줄면 은행들은 대출한도를 추가로 10~30% 감액할 것으로 예상된다. LTV도 기존 80%에서 70%로 줄기 때문에 집값에 따른 대출금도 축소된다. 또 총량 소진 시 대출 자체가 거절될 수 있다. 연봉 1억원 이상 고소득자들의 주택구매도 어려워진다. 수도권 주담대 대출의 최대한도가 6억원으로 일괄 제한되기 때문이다. 더욱이 실제 대출금액은 6억원 한도 내에서 LTV(담보인정비율), DTI(총부채상환비율), DSR(총부채원리금상환비율) 비율 등에 따라 조정된다. 이번 규제는 토요일인 지난 28일부터 시행이 본격화됐다. 발표 당일인 27일까지 금융회사가 전산상 등록을 통해 대출 신청접수를 완료하거나 주택 매매계약을 체결, 계약금을 이미 납부한 경우 종전규정이 적용된다. 정부가 초고강도 규제에 나선 이유는 과열된 부동산 열풍 및 가계대출 때문이다. 5대 시중은행(KB국민·신한·하나·우리·NH농협은행)의 이달 들어 지난 19일까지 가계대출 잔액은 전월 말 대비 4조 원 늘어난 752조 749억원을 기록했다. 영업일당 3328억 원이 늘어난 것으로 지난해 8월 영업일당 평균 4584억원이 늘어난 이후로 가장 큰 폭의 증가세다.  정부는 이번 규제로 올해 하반기 10조원, 연간으로는 20조원 가량의 가계대출이 줄어들 것으로 내다봤다. 최근 과열된 부동산 열기를 잠재울 수 있을지 주목된다. 일각에선 강도 높은 대출 규제로 인해 청년들의 주택 구매 여력을 제한하는 것 아니냐는 우려도 나온다. 2030세대 무주택자의 '주거 사다리'가 흔들릴 수 있다는 지적이다. romeok@newspim.com 2025-06-29 08:00
안다쇼핑
Top으로 이동