전체기사 최신뉴스 GAM
KYD 디데이
경제 과학기술

속보

더보기

전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다. 

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다. 

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다. 

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.  

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
[단독] 日 여행객 'K-쌀' 사간다 [세종=뉴스핌] 이정아 기자 = 일본 여행객이 한국을 방문, 한국 쌀을 직접 구매해 들고 나가는 사례가 급증하고 있다. 일본 내 쌀값이 고공행진을 이어가는 가운데 '밥맛 좋은 한국 쌀'이 대체제로 급부상하면서 벌어지는 현상이다. 3일 <뉴스핌>이 입수한 자료에 따르면, 올해 1월부터 6월까지 상반기 동안 일본 여행객이 한국에서 직접 구매해 일본으로 들고 간 국산 쌀은 3만3694kg로 집계됐다. 일본은 지난 2018년부터 휴대식물 반출 시 수출국 검역증을 의무화한 나라로, 병해충과 기생식물 등 식물위생 문제에 매우 엄격하다. 특히 쌀처럼 가공되지 않은 곡류는 검역 과정이 매우 까다롭다. 그럼에도 불구하고 일본 여행객들의 한국산 쌀 열풍은 지속됐다. 지난해 한 해 동안 일본 여행객이 반출한 국산 쌀은 1310kg에 불과했지만, 올해는 상반기에만 무려 25배 이상 급증했다. 같은 기간(2024년 1~6월)으로 비교하면 작년 106kg에서 올해 3만3694kg로 약 318배 증가한 셈이다. 농식품부 관계자는 "일본 여행객들의 '쌀 쇼핑'이 열풍을 불면서 관련 문의가 급증했다"며 "한국쌀이 일본쌀에 비해 맛과 품질이 뒤떨어지지 않는다는 인식이 생기면서 반출되는 양도 많아지고 있다"고 설명했다. 쌀을 화물로 탁송하는 사례도 동반 상승했다. 올해 상반기 기준 화물검역을 통해 일본으로 수출된 국산 쌀은 43만1020kg에 달한다. 지난해 화물 검역 실적이 1.2kg에 그쳤던 것과 비교하면 폭증 상태다. 업계에서는 이번 흐름이 국산 쌀에 대한 일시적 특수로 끝나지 않고 국내에서 정체된 쌀 소비의 새로운 돌파구가 될 수 있을 것으로 내다보고 있다. 임정빈 서울대 농경제학과 교수는 "일본에서 쌀 가격이 두 배 이상 올랐으니 한국에 와서라도 쌀을 구매하는 여행객이 늘어난 것"이라고 짚었다. 이어 "다만 일본의 쌀 관세율이 매우 높기 때문에 한국 쌀의 가격만 보지는 않았을 것"이라며 "국산 쌀의 품질이 높기 때문에 이 부분에서도 합격점이 있을 것"이라고 평가했다. [영종도=뉴스핌] 윤창빈 기자 = 11일 오전 인천국제공항 제1터미널에 중국발 여행객들이 입국하고 있다. 2023.03.11 pangbin@newspim.com 정부 역시 이같은 수요에 대응해 일본 관광객을 대상으로 검역제도 안내·홍보에 나서기로 했다. 현재는 농림축산검역본부를 통한 사전신청, 수출검역, 식물검역증 발급, 일본 통관까지 최소 3단계 이상이 요구된다. 다만 한국 쌀을 일본으로 반출할 때 한국에서 식물검역증을 발급받아야 한다는 사실을 모르는 일본 관광객이 일본에 돌아가 쌀을 폐기하는 일이 생기면서 홍보의 필요성이 대두됐다. 농식품부 고위 관계자는 "지난달 오사카 엑스포 현장 방문을 계기로 일본 농림수산성과 예방할 기회가 주어졌는데 그 자리에서 쌀 검역 문제가 논의됐다"며 "한국 정부는 일본 여행객이 애써 한국 쌀을 구매한 뒤 일본으로 돌아가 폐기하는 일이 없도록 제도 홍보에 만전을 기하겠다"고 전했다. plum@newspim.com 2025-07-03 11:10
사진
내란특검, 尹재판 증인 72명 신청 [서울=뉴스핌] 김신영 기자 = 12·3 비상계엄 관련 내란 사건을 수사 중인 조은석 특별검사팀이 윤석열 전 대통령의 내란 우두머리 혐의 재판에서 증인 72명을 추가 신청했다. 서울중앙지법 형사합의25부(재판장 지귀연)는 3일 내란우두머리·직권남용권리행사방해 혐의로 재판에 넘겨진 윤 전 대통령의 9차 공판기일을 열었다. 조은석 내란 특별검사. [사진=뉴스핌DB] 특검 측은 앞서 1차로 38명의 증인을 신청한 데 이어 이날 재판부에 증인 72명을 추가로 신청하겠다고 밝혔다.  재판부는 오는 10일 열릴 10차 공판에서는 이날 증인신문을 마치지 못한 고 전 처장에 이어 정성우 전 방첩사 1처장(준장), 김영권 방첩사 방첩부대장(대령)을 불러 신문할 예정이다. 정 전 처장은 여인형 전 방첩사령관으로부터 선관위 전산실 통제와 서버 확보를 지시받은 인물이며 김 부대장은 비상계엄 당일 곽종근 전 육군 특수전사령관이 윤 전 대통령으로부터 지시받을 당시 함께 합참 지휘통제실에 있었던 것으로 알려졌다.  한편 이날 재판에서 윤 전 대통령 측은 조은석 특검이 검찰로부터 사건을 이첩받은 절차가 위법해 무효라고 주장했으나, 특검은 "법과 상식에 비춰봤을 때 납득할 수 없는 주장"이라고 반박하며 신경전을 벌였다.  sykim@newspim.com 2025-07-03 20:47
안다쇼핑
Top으로 이동