전체기사 최신뉴스 GAM 라씨로
KYD 디데이
경제 과학기술

속보

더보기

서울과기대·테디썸, 라마3-70B 기반 한글 특화 LLM '블라썸' 세계최초 공개

기사입력 : 2024년05월09일 14:21

최종수정 : 2024년05월09일 14:21

라마3 70B 모델에 한국어 확장 첫 사례
업스테이지·솔트룩스·마음AI에 도전장
블라썸, 기본 모델 대비 89% 답변 향상

[세종=뉴스핌] 이경태 기자 = 국내 연구진과 인공지능(AI) 기업이 공동연구를 통해 메타의 오픈소스 거대언어모델(LLM)을 활용한 한국어 어휘 확장 대형 모델을 세계 최초로 개발했다. 

이미 오픈소스 기반 LLM 개발 업체인 업스테이지, 솔트룩스, 마음AI에 한발 앞선 기술력으로 도전장을 내민 셈이다.

서울과학기술대학교 다층퍼셉트론(MLP)연구실과 테디썸은 9일 오후께 한국어 최초 70B급 한국어-영어 초거대 언어모델 블라썸(Bllossom)을 완전 공개했다. 이는 현재 가장 좋은 성능으로 평가받는 공개 언어모델인 라마3(LLama3-70B) 기반 모델 중 어휘 확장 모델로는 전세계에서 최초로 꼽힌다.

메타는 지난달 18일(현지 시간) 자체 개발한 오픈소스 거대언어모델(LLM)인 라마(Llama)의 3세대 버전을 무료로 출시했다. 라마 3는 8B 및 70B 매개변수 두 모델로 우선 공개됐다. 라마3은 15조 개의 토큰으로 학습됐다. 

이 가운데 70B 모델은 오픈AI가 개발한 GPT-3.5보다 성능이 좋고 GPT4 성능에 근접한 수준이라는 평가를 일부 받는다. 라마3는 한국어에 특화돼 있는 모델로 평가된다.

테디썸이 라마3 70B 모델을 활용해 자체 개발한 한국어 특화 확장 거대언어모델인 '블라썸'을 허깅페이스에 9일 게재했다. 실제 전체 공개는 이날 오후께 진행된다. [사진=테디썸] 2024.05.09 biggerthanseoul@newspim.com

서울과기대와 테디썸은 라마3 70B모델에 추가적인 어휘확장을 했다.

어휘 확장은 특정 언어의 단어를 추가해 심층적인 표현이 가능하도록 하는 방법이다. 70B급 거대 언어모델은 어휘를 확장하면 새로운 어휘의 표현학습을 위해 엄청난 추가 학습시간 및 비용이 소요된다. 이렇다보니 70B급 모델에 어휘확장이 시도된 사례는 한국어에서는 아직 찾아볼 수 없다. 

이번 블라썸 모델은 서울과기대 슈퍼컴퓨팅센터의 컴퓨팅 지원을 토대로 대량의 GPU를 활용해 어휘확장 및 영어-한국어 지식 연결 학습이 가능했던 것으로 파악됐다.

임경태 서울과기대 인공지능응용학과 교수 연구팀은 이번 모델 개발을 위해 ▲한국어 표현력 강화를 위한 3만개가 넘는 한국어 어휘 추가 ▲한국어 어휘 표상 학습을 위한 대규모 사전학습 ▲한국어-영어 지식 연결을 위한 Parallel 학습 ▲한국어-영어 지식 표현을 위한 지시미세조정(Instruction Tuning) ▲사용자 피드백(feedback) 기반의 강화학습 등을 진행했다.

방대한 영어 지식을 한국어와 연결시키기 위해 직접 구축한 병렬(Parallel) 데이터 셋을 활용했다는 점과 언어학자들이 직접 구축한 정교한 지시미세조정 데이터가 성능을 크게 향상시켰다는 점이 이번 모델 개발에서 주목할 만한 요소다.

테디썸은 이번에 개발한 모델을 전체 공개해 개별적인 추가 학습과 상업적 이용이 가능하다는 점을 강조했다.

이번 모델은 한국어 토큰 확장으로 인해 25% 확장된 컨텍스트 활용이 가능하다. 인간평가와 GPT4 한국어 답변 선호도 평가 결과 GPT3.5와 유사하거나 약간 앞선 결과를 보인 바 있다. 라마3 70B 기본모델 대비 한국어 답변에 대해 89% 더 높은 답변 선호도 평가를 기록했다.

테디썸은 이미 8B 소형 모델은 전세계 기술 공유 플랫폼인 허깅페이스에 공개됐고 70B 거대모델도 이날 함께 공개했다. 개인 GPU에서 작동 가능한 4bit 양자화된 모델과 직접 활용해볼 수 있는 데모도 함께 내놓는다.

함영균 테디썸 대표는 "기존 빅테크에서만 연구개발하고 공개되지 않던 70B 거대 모델을 중소규모 회사 및 연구 그룹에서도 활용할 수 있도록 초거대 언어모델의 민주화에 기여했다는 점에서 의미있는 첫 발자국이라 생각한다"고 말했다.

한편 국내에서 라마3 소형 모델인 8B를 기반으로 자체 LLM 모델을 개발해 공개한 기업은 솔트룩스, 마음AI 등이다. AI 기업 데이터드리븐의 이준범 수석 AI 연구원도 개인적으로 8B 기반 모델을 공개한 바 있다.

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
빗썸, '비트코인 2000억' 매도 의문 [서울=뉴스핌] 송주원 기자 = 올해 하반기 기업공개(IPO)를 준비 중인 빗썸이 장외시장 기준 시가총액 절반에 달하는 비트코인을 매도한 것으로 나타나 업계의 의문이 커지고 있다. 빗썸은 대고객 이벤트로 비트코인을 처분했다는 입장으로, 활발한 이벤트에 신규 고객 유입이 늘어나 오히려 IPO에 도움이 될 것으로 보고 있다. 17일 금융감독원에 따르면 빗썸이 보유한 비트코인은 지난해 3분기 기준 103개로 38억원 규모다. 2021년 4분기 1419개에서 90% 이상 대폭 줄었다. 현재 시세 기준 약 2000억원치다.  빗썸이 보유한 비트코인 수량. 빗썸이 보유한 비트코인은 지난해 3분기 기준 103개로, 2021년 4분기 1419개에서 90% 이상 대폭 줄었다. [사진=뉴스핌] 2021년 말 기준으로 5000만원대였던 비트코인 가격은 현재 1억5000만원을 넘어섰다. 개당 가격을 약 1억5000만원으로 단순 계산하면 빗썸은 2000억원 규모의 비트코인을 매도해 온 셈이다. 이는 현재 빗썸의 시가총액 4100억원의 절반에 달하는 금액이다. 증권플러스 비상장에 따르면 빗썸의 장외주식은 17일 기준 9만9000원 수준이다. 추정 시가총액은 약 4215억원이다. 빗썸이 올 하반기를 목표로 IPO를 준비 중이라는 점에서 대규모 비트코인 매도에 대해 전문가들은 의문을 표하고 있다. 비트코인 보유량이 증가할수록 IPO 과정에서 더 높은 몸값으로 평가받을 수 있기 때문이다. 빗썸의 경쟁사인 업비트를 비롯한 일반적인 가상자산거래소는 비트코인이 꾸준히 늘어나는 추세다. 비트코인이 기축통화인 BTC 마켓에선 투자자가 거래할 때마다 비트코인으로 거래 수수료를 내기 때문이다. 국내 주요 가상자산거래소의 최근 비트코인 수량 현황은 ▲업비트 1만4666개 ▲코인원 266개 ▲코빗 25개로 같은 기간 비트코인 보유량이 꾸준히 증가했다. 국내 5대 가상자산거래소 가운데 비트코인이 줄어든 거래소는 빗썸과 완전자본잠식 상황인 고팍스가 유일하다. 실제로 타임체인인덱스닷컴에 따르면 미국 가상자산 거래소 코인베이스의 비트코인 보유량은 112만3500여 개 수준이다. 글로벌 1위 거래소 바이낸스는 약 68만6900개를 보유하고 있다. 빗썸의 비트코인 처분은 최근 세계적인 추세에 반하는 이례적인 행보다. 특히 친(親) 가상자산 대통령을 공약으로 내건 미국 도널드 트럼프 대통령이 대선에서 승리하고 비트코인의 전략자산 추가를 발표하면서 비트코인을 모으려는 움직임이 더욱 활발해지고 있다. 미국 나스닥 상장사 스트레티지(옛 마이크로 스트레터지)는 비트코인을 꾸준히 사들여 현재 47만 개 이상의 비트코인을 보유하고 있다. 한 증권업계 관계자는 "가상자산거래소의 비트코인 보유 규모는 해당 거래소가 비트코인의 미래를 얼마나 믿고 있는지, 또 어느 정도의 보유자산에 대한 중장기 전략을 가졌다는 것인지 판단할 수 있는 척도"라며 "업비트를 정조준한다는 빗썸이 비트코인 1300여 개를 처분하고 100개만 남겨둔 것은 재무적으로도 이해하기 어려운 전략"이라고 말했다. 빗썸은 활발한 마케팅으로 비트코인을 소진했다는 입장이다. 빗썸은 지난해 창립 11주년을 맞아 이용자에게 최대 1억원 상당의 비트코인을 제공하는 이벤트를 벌였다. 같은 해 5월에는 이마트24와 협업해 '비트코인 도시락' 상품을 판매했고, 10월에는 신세계그룹과 비트코인 100억 지급 이벤트를 진행하기도 했다. 빗썸 관계자는 "빗썸이 보유하고 있는 비트코인은 다양한 대고객 이벤트를 통해 회원들에게 지급됐다"며 "이같이 적극적인 마케팅 활동은 고객 유치와 점유율 상승에 기여해 추후 예정된 IPO에도 긍정적으로 작용할 것"이라고 설명했다. jane94@newspim.com 2025-02-17 11:32
사진
중앙부처 공무원 갑질에 '부글부글' [대전=뉴스핌] 오영균 기자 = 중앙부처 공무원들은 지역에 가면 대장이 되는 것처럼 안하무인적인 행태에 지방 일선 공무원들의 속이 끓고 있다. 이는 지자체는 자신들이 만든 정책을 시행하는 일개 기관일 뿐이라고 무시하는 인식 때문이라는 지적이 나온다. 심한 경우 중앙부처 공무원이 광역시장을 '아저씨'라고 낮춰 부르는 행태까지 보이고 있다. 최근 대전시 한 국장이 자신의 SNS(페이스북)에 올린 중앙부처와 공동 주최하고 정부출연연구기관 주관한 행사에 참석한 후기가 공분을 일으키고 있다. 해당 국장은 "It is a bit insulting(조금 모욕적이다)"라며 중앙 공무원들의 우월적인 태도 문제를 지적했다. [대전=뉴스핌] 오영균 기자 = 대전시 한 국장이 자신의 SNS(페이스북)에 올린 중앙부처와 공동 주최하고 정부출연연구기관 주관한 행사에 참석한 후기가 공분을 일으키고 있다. 2025.02.17 gyun507@newspim.com 게시글에 따르면, 해당 국장(이하 국장)은 최근 중앙부처와 공동 주최하고 정부출연연구기관이 주관하는 행사에 참석했다. 이 자리에는 이장우 대전시장도 함께 했던 것으로 알려졌다. 그런데 행사 시작부터 중앙 공무원의 '갑질' 행태가 시작됐다. 국장은 "중앙부처 실장이 지방자치단체장보다 VIP 위치에 있어야 한다는 의전에 대해선 충분히 이해할 수 있다"며 이장우 대전시장보다 '좋은' 자리를 요구했다고 밝혔다. 그러면서 "관련 중앙부처 과장의 주장에 곤혹스러워 하는 출연연 담당자의 표정을 보면서 솔직히 미안한 생각도 들었다"고 하면서도 "중요한 게 기업들이 미국의 주요 사업에 참여할 수 있는 기회를 얻는 것이기에 사소한 문제에 매물될 필요는 없다고 생각해 마음을 추스렸다"고 설명했다. 그런데 지방에 대한 차별은 행사 후 진행된 오찬장에서도 계속되면서 비굴함을 느끼기 시작했다. 국장은 정부 관계자에게 정책과 출연연 비전, 미국 기업 사업 계획 등에 대한 설명을 듣기위해 오찬에 참석했다. 그런데 정부 공무원과 별도 테이블에 앉아 식사를 하면서 현실은 생각과 다른 것을 알게 됐다고 밝혔다. 국장은 "오찬장에 도착해 그런 순진한 생각은 현실과 다르다는 것을 깨달았고 순간 모욕적인 감정을 지울 수 없었다"며 "같은 테이블에 앉을 것이라는 예상은 중앙부처 공무원 요구로 현장에서 바뀌었다. 메인 테이블에서 밀려나 떨어진 자리에서 지자체 공무원들 넷이서 따로 식사를 했다"고 당시의 어처구니 없는 상황을 설명했다. 국장은 중앙부처가 지방을 바라보는 시각이 부정적임을 단적으로 보여준 것으로 봤다. 국장은 "공직자들 간의 역량 차이는 있어도 서로의 역할을 존중해줄 수는 없는 것일까. 올해는 지방자치가 부활한지 30년이 되는 해"라며 중앙부처 공무원들의 구시대적 사고를 지적했다. SNS에 글이 게시되자 전·현직 공무원과 시민들도 공감하는 가운데서도 분노를 나타냈다. 한 공무원은 "나도 30년 공직생활하다보니 그대로 공감한다"며 이러한 일이 비일비재함을 은연히 드러냈다. 중앙부처 공무원들의 지자체 '무시' 행태는 사실상 공공연한 사실이다. 특히 중앙부처 공직사회 내에서는 지자체장보다 행정고시 출신 5급 국가공무원 사무관이 우선되는 분위기다. 실제로 지난해 소상공인시장진흥공단 사옥 이전에 대해 항의하는 대전시 관계자에 대해 중소벤처기업부 한 과장은 "대전시장은 우리에겐 그저 동네 아저씨다. 왜 우리가 시장 대우를 해줘야 하느냐"며 적절치 못한 발언을 하고 고압적인 태도를 보인 사실이 드러났다. 소식을 접한 이장우 대전시장이 "직접 대전시청을 찾아와 정식으로 사과하라"며 격노하기도 했다. [대전=뉴스핌] 오영균 기자 = SNS(페이스북)에 글이 게시되자 전·현직 공무원과 시민들도 공감하는 가운데서도 분노를 나타냈다. 한 공무원은 "나도 30년 공직생활하다보니 그대로 공감한다"며 이러한 일이 비일비재함을 은연히 드러냈다. 2025.02.17 gyun507@newspim.com 공무원들도 중앙부처 공무원들의 '갑질'은 문제가 크다고 여겼다. 한 지방자치단체 소속 공무원은 "지역발전을 위해 좋은 정책을 추진하려 해도 중앙부처에서 브레이크를 거는 경우가 있다"며 "협의하려 해도 날짜 잡는 것도 어렵고, 만나도 대놓고 무시하는 태도에서 힘이 빠지게 된다"고 털어놨다. 또 다른 공무원은 "이럴 거면 국가직 공무원 시험을 볼 걸 그랬다"며 자괴감을 드러냈다. 이장우 대전시장은 지난해 7월 충남도청에서 열린 제7회 중앙지방협력회의에서 공식적으로 이의를 제기하기도 했다. 당시 이 시장은 대통령에게 "각종 제안이 중앙정부 공무원들에게 막히는 경우가 있다"고 하자 윤 대통령은 "안된다는 사람 이름 알려달라"고 발언하며 중앙부처에 '경고'를 하기도 했다. 일각에서는 이러한 경직된 공직사회가 국가와 지역 발전 속도를 늦출 수 있다는 지적이 많다. '탑 다운' 형식의 중앙부처-지자체 공직 분위기는 정책 논의나 규체 혁신에는 전혀 도움되지 않는다는 주장이다. 한 행정전문가는 "과거엔 정책은 중앙정부에서 만들고 이를 지방정부가 수행하는 역할에 그쳤지만, 이제는 그러한 장벽은 무너지고 있다"며 "지방자치 시대에 맞는 공직자 마인드가 필요한 시점"이라고 피력했다. gyun507@newspim.com 2025-02-17 18:09
안다쇼핑
Top으로 이동