전체기사 최신뉴스 GAM 라씨로
KYD 디데이
글로벌 미국·북미

속보

더보기

AI 최강자 등극 구글 '제미나이', GPT-4와 비교해 보니

기사입력 : 2023년12월07일 14:53

최종수정 : 2023년12월08일 07:49

[서울=뉴스핌] 최원진 기자= 구글이 오픈AI의 최신 생성형 인공지능(AI) 거대언어모델(LLM) 'GPT-4'를 능가하는 자체 모델 '제미나이(Gemini) 1.0'을 6일(현지시간) 공개해 화제다.

지난해 11월 챗GPT로 생성형 AI의 미래를 제시한 오픈AI가 기술 최강 자리를 굳건히 지킬 것이란 예상이 GPT-4 출시 후 불과 약 9개월 만에 깨진 것이다. 구글 제미나이가 AI 업계의 치열한 개발 경쟁에 다시 한번 불을 지폈다.

◆ 제미나이의 강점은 '멀티 플레이어'

제미나이는 3가지 버전으로 나온다. 구글이 지금까지 내놓은 것 중 가장 강력한 LLM이자 데이터센터와 기업용 모델인 '제미나이 울트라', 구글의 AI 챗봇 '바드'의 모델인 '제미나이 프로', 스마트폰 등 모바일 기기에서 사용 가능한 컴팩트한 사이즈의 '나노'다.

제미나이 프로는 제품 공개한 이날 바로 바드에 탑재됐다. 제미나이 프로가 적용된 바드는 170개 이상 국가 및 지역에서 영어로 제공되며, 향후 서비스 확장 및 새로운 지역과 언어도 지원될 예정이다. 

'제미나이 울트라'는 내년 초 '바드 어드밴스드'라는 이름으로 바드에 장착되며, '제미나이 나노'는 구글이 지난 10월 공개한 최신 스마트폰인 '픽셀8 프로'에 탑재된다.

구글은 제미나이가 "선천적"(natively)으로 멀티모달(Multi-Modal·다중모드) AI 모델이라고 소개한다. 멀티모달은 말그대로 텍스트뿐만 아니라 이미지, 동영상 등 비언어 입력값도 이해해 응용할 수 있는 '멀티 플레이어'다.

오픈AI가 이미지 생성 AI '달리'(DALL-E), 음성 인식 AI '위스퍼'(Whisper)를 각각 개발한 방식과 달리 구글은 애초부터 텍스트·이미지·오디오 등 다양한 데이터로 제미나이를 훈련해왔다는 것이다.

제미나이가 학생의 물리학 문제를 풀이해주는 예시. [사진=구글 딥마인드 제공]

특히 제미나이는 이미지와 동영상을 이해한 데이터를 응용하고 상호 작용하는 데 강점을 보인다.

예컨대 한 학생이 물리학 문제를 풀이하는 과정을 펜으로 쓴 이미지를 교사가 제미나이 프롬프트에 넣어 문제 풀이 과정에 어떤 부분이 틀렸는지 질문하면 제미나이는 정확히 문제의 정답과 학생의 손 글씨를 이해해 잘못된 문제 풀이 과정을 수정해 준다.

구글 딥마인드는 "제미나이가 이미지 속 텍스트를 이해하는 것을 넘어 교사가 어떻게 문제를 다르게 설정했는지 등을 이해해야 가능하다"고 설명했다. 제미나이는 오답 풀이 뿐만 아니라 학생이 틀린 유형의 다른 연습 문제도 제공해 교육 환경에서의 활용도가 높다는 게 자체 평가다.

이 밖에 제미나이는 동영상 속 언어를 감지해 번역 자막을 달아주고, 동영상 속 상황을 이해해 질문에 답할 수 있다.

◆ 32개 벤치마크 테스트 중 30개, 최고 성적

이미지와 영상의 이해부터 수학적 추론까지 가능한 제미나이 울트라가 업계에서 LLM 연구개발 평가 시 널리 사용되는 학술 벤치마크 기준 32개 가운데 30개 항목에서 GPT-4를 뛰어넘는 성적을 기록했다.

구체적으로 제미나이 울트라는 텍스트와 추론 벤치마크 부문 12개 중 10개, 이미지 이해 부문 9개 중 9개, 동영상 이해 벤치마크 6개 중 6개, 음성 인식 부문 5개 중 5개에서 GPT-4보다 높은 신기록을 썼다.

특히 대규모 다중작업 언어 이해(MMLU) 벤치마크에서 제미나이 울트라는 90% 이상의 정답률을 기록했다.

MMLU는 수학, 물리학, 역사, 법률, 의학, 윤리 등 57개의 주제를 복합적으로 활용해 지식과 문제 해결 능력을 평가하는 대표 격 LLM 벤치마크다.

구글 딥마인드는 제미나이 울트라의 MMLU 점수가 GPT-4의 86.4%를 앞선 것에서 나아가 AI 모델로는 최초로 인간 전문가 점수인 89.8%를 뛰어넘었다고 밝혔다. 

이 밖에 여러 단계의 추론을 요구하는 여러 문제 해결 능력을 평가하는 빅 벤치 하드(BIG-Bench-Hard)와 독해력 벤치마크인 DROP에서 각각 80%가 넘는 점수로 GPT-4를 능가했다. 

WMT23 벤치마크는 LLM의 번역 능력을 평가한다. 제미나이 울트라는 74.40%로 GPT-4보다 번역 능력이 우수했다.

다만 일상에 필요한 상식 추론 능력을 보는 헬라스웨그(HellaSwag) 벤치마크에서는 제미나이 울트라가 GPT-4에 못미쳤다. 

제미나이 울트라의 이미지 이해 능력은 GPT-4 보다 뛰어났다.

과학, 기술, 인문 과학, 음악 등 6개 핵심 부문 대학교 시험과 교과서에서 수집된 차트, 표, 악보 이미지를 이해하는 능력을 평가하는 다소 새로운 벤치마크인 MMMU에서 제미나이 울트라는 59.4%를 기록, GPT-4를 앞섰다.

이미지를 보고 이해해 관련 질문에 답할 수 있는 능력을 확인하는 VQAv2 벤치마크와 서류상 이미지를 이해하는 능력을 보는 DocVQA, 그래프 등을 보고 수학적 추론 능력을 보는 매스 비스타(MathVista) 벤치마크에서도 GPT-4 보다 좋은 성적을 거뒀다.

AI 모델의 동영상 이해를 평가하는 벤치마크들에서도 제미나이 울트라는 두각을 보였다. 

영상 속 상황을 텍스트로 옮기는 능력을 평가하는 VATEX 벤치마크와 영상과 관련된 질문에 답해 전반적인 영상 이해도를 평가하는 인식 테스트 MCQA 벤치마크 모두 GPT-4를 뛰어넘었다. 

이밖에 중국어 텍스트로 영상 속 상황을 옮기는 능력을 평가하는 VATEX ZH, 영어로 복잡한 요리 과정이 담긴 영상을 텍스트로 옮기는 YouCook2 등 여러 벤치마크에서도 높은 성적을 거뒀다.

제미나이 프로의 음성 인식 이해도도 우수했다. 21개 언어의 음성을 인식해 텍스트로 변환하는 능력을 평가하는 CoVoST 2 벤치마크에서 제미나이 프로는 40.1을 기록, 오픈AI의 음성 인식 AI 모델 '위스퍼' 버전 2(v2) 보다 10 이상 높았다.

62개 언어로 음성 인식 여부를 확인하는 FLEURS 벤치마크에서도 제미나이 프로는 7.6%를 기록, 위스퍼 v3 보다 월등했다. FLEURS는 AI 모델이 음성 인식 정확도를 측정하는 테스트로 점수가 낮을 수록 인식 오류가 적다는 의미다. 

이밖에 제미나이는 파이선(Python), 자바(JAVA), C++, Go 등 세계에서 널리 사용되는 프로그래밍 언어로 코드를 이해하고 생성할 수 있다. 

코딩 작업 성능을 평가하는 업계 표준인 휴먼이발(HumanEval) 벤치마크에서 제미나이 울트라는 74.4%를 기록해 GPT-4(67.0%)를 능가했다. 파이썬 코드 생성 능력을 평가하는 내추럴2코드(Natural2Code) 벤치마크에서도 GPT-4 보다 1%포인트(p) 높은 74.9%를 기록했다. 

[사진= 구글 홈페이지]

wonjc6@newspim.com

 

[뉴스핌 베스트 기사]

사진
강릉 옥계항 코카인 추정 마약 대량 적발 [세종=뉴스핌] 백승은 기자 = 관세청과 해양경찰청이 강릉 옥계항에 입항하는 외국 무역선 선박을 수색애 코카인으로 의심되는 마약을 대량 적발해 조사 중이라고 2일 밝혔다. 전날 두 기관은 미국 연방수사국(FBI)과 국토안보수사국(HSI)으로부터 A선밖에 마약이 숨겨져 있다는 정보를 입수했다. A 선박은 벌크선으로 3만2000톤이며, 승선원 외국인은 20명이다. 관세청과 해양경찰청이 강릉 옥계항에 입항하는 외국 무역선 선박을 수색해 코카인으로 의심되는 마약을 대량 적발했다. [사진=관세청] 2025.04.02 100wins@newspim.com 두 기관은 합동 검색작전을 수립하고, 선박의 규모가 길이 185미터(m)인 점과 검색 범위 등을 고려해 서울세관·동해해경청 마약 수사요원 90명 및 세관 마약탐지견 2팀 등 합동 검색팀을 구성했다. 검색팀은 2일 오전 6시 30분 옥계항에 긴급 출동해 A 선박이 입항한 직후 선박에 올라타 집중 수색을 실시했다. 수색 중 검색팀은 선박 기관실 뒤편에서 밀실을 발견했고, 집중 수색 결과 개당 약 20킬로그램(kg) 전후 마약으로 의심되는 물질이 담긴 박스 수십 개를 발견했다. 검색팀이 간이시약으로 검사한 결과 코카인 의심 물질로 확인됐다. 정확한 중량은 하선 이후 정밀 계측기를 통해 측정하고 마약 종류는 국가과학수사연구원에 의뢰해 확인할 예정이다. 앞으로 관세청과 해경청은 합동수사팀을 운영해 해당 선박의 선장 및 선원 등 20여명을 대상으로 밀수 공모 여부와 적발된 마약의 출처 등을 수사할 계획이다. 국제 마약 밀매 조직과의 연관성도 고려해 미국 FBI와 HSI 등 관계 기관과의 공조를 통해 수사를 확대할 방침이다. 100wins@newspim.com 2025-04-02 17:57
사진
재주는 트럼프가, 돈은 브라질이 [서울=뉴스핌] 최원진 기자= 도널드 트럼프 미국 행정부의 관세 공세로 글로벌 무역전쟁이 격화하는 가운데, 브라질이 주요 승자로 부상하고 있다고 월스트리트저널(WSJ)이 1일(현지시간) 보도했다. 보도에 따르면, 중국은 트럼프 대통령이 부과한 대중(對中) 관세에 맞서 미국산 농산물에 보복 관세를 매기며 대체 수입처로 브라질을 주목하고 있다. 수출입 컨테이너 [사진=블룸버그] 중국 가공업체들은 트럼프 대통령이 지난 1월 취임하기 전부터 브라질산 대두를 비축하기 시작했고, 올해 1분기 필요한 물량의 거의 전량을 브라질에서 조달했다. 이는 지난해 같은 기간 54% 수준이었던 브라질산 비중과 비교하면 큰 폭의 증가다. 가격도 상승세다. 상파울루대학 산하 연구기관 세페아(CEPEA)에 따르면, 브라질 항구에서 선적되는 대두의 프리미엄은 중국이 미국산 대두에 10% 관세를 발표한 직후 일주일 동안 약 70% 급등했다. 3월 선적 기준으로는 부셸당 85센트를 기록해 3년 만에 최고치를 찍었다. 닭고기와 달걀 수출도 두 자릿수 증가율을 보인다. 브라질의 가금류·돼지고기·달걀 수출업체를 대표하는 브라질동물단백질협회(ABPA)의 히카르두 산틴 협회장은 올해 들어 브라질의 닭고기 수출은 지난해 같은 기간보다 9%, 달걀 수출은 20% 증가했다고 밝혔다. 브라질은 미국과 달리 조류 인플루엔자를 겪고 있지 않아, 안정적인 공급처로 주목받고 있다. 여기에 중국이 미국산 닭고기에 15%의 보복관세를 부과하면서 브라질산이 대안으로 떠오르고 있다는 설명이다. 사실 브라질과 중국의 교역 관계는 최근 수년 빠르게 확대됐다. 중국은 2009년에 미국을 제치고 브라질의 최대 무역 파트너로 부상했다. 쇠고기, 철광석, 석유 등 자원이 풍부한 브라질은 중국의 막대한 수요에 맞춰 수출을 확대해 왔고, 중국은 브라질의 인프라 건설에 대규모 자본을 투입하고 있다. 현재 중국은 브라질 전체 전력 공급의 약 10%를 차지하고 있으며, 항만과 도로, 철도 등 주요 기반 시설 건설에도 깊숙이 관여하고 있다. 브라질은 미국 시장에서도 수출 확대 가능성을 보고 있다. 중국은 미국의 주요 신발 수출국인데, 미국이 중국산 제품에 고율 관세를 부과할 경우 아시아를 제외하고 최대 신발 생산국인 브라질이 그 자리를 일부 대체할 수 있다는 전망이 나온다다. 하롤두 페헤이라 브라질 신발산업협회(Abicalçados) 회장은 "브라질산 제품에 별다른 관세가 없다면, 미국 수출 확대의 기회가 될 수 있다"라고 밝혔다. 글로벌 무역전쟁 국면에서 오히려 특수를 누릴 것이라는 기대는 브라질 증시에도 훈풍으로 작용했다. 올 들어 브라질 증시는 9% 넘게 오르며 뉴욕 증시를 아웃퍼폼하고 있다. 올 들어 브라질 증시는 9% 넘게 상승, 연중 5% 가까이 하락한 뉴욕증시의 S&P500 지수와 대조를 이룬다 [사진=koyfin] wonjc6@newspim.com   2025-04-02 15:30
안다쇼핑
Top으로 이동