전체기사 최신뉴스 GAM
KYD 디데이

전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다. 

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다. 

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다. 

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.  

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
다음달 10일 2차 소비쿠폰 기준 나온다 [세종=뉴스핌] 양가희 기자 = 행정안전부가 2차 민생회복 소비쿠폰 지급기준을 이르면 내달 초 발표할 예정이다. 상위 10% 구분 기준은 부동산 및 금융소득 등을 살펴 이달 중 기준 수립 준비에 나선다. 한순기 행안부 지방재정경제실장은 8일 정부세종청사 행정안전부에서 열린 민생회복 소비쿠폰 간담회에서 "9월 10일 정도에 2차 (소비쿠폰) 기준을 발표할 것"이라고 밝혔다.  한 실장에 따르면 2차 지급 기준 준비는 이달 중 시작된다. 그는 "보건복지부와 건강보험공단을 만나 기준을 짜야 한다"며 "2021년 사례를 보면 1인가구는 특례를 가산했고, 맞벌이가구는 뺐다"고 설명했다. [서울=뉴스핌] 류기찬 인턴기자 = 한국신용데이터(KCD)가 4일 민생회복 소비쿠폰 카드 매출 분석 결과를 공개했다. 민생회복 소비쿠폰 지급이 시작된 지난 21일부터 27일까지 자영업자 매출 증감률은 전주 대비 평균 2.2% 증가한 것으로 나타났다. 이날 오후 서울 시내의 한 매장에 민생회복 소비쿠폰 사용가능 안내문이 붙어있다. 2025.08.04 ryuchan0925@newspim.com 한 실장은 "고액 자산가인데 건보료만 적게 내는 경우도 있다"며 "(행안부의) 부동산 데이터나 국세청 금융소득 데이터를 활용해 직장 가입자 중 고액 자산가를 선별할 것"이라고 덧붙였다. 지난달 21일부터 이달 7일까지 소비쿠폰 지급 현황에 따르면 전체 신청자는 4818만명으로, 전체 지급대상자의 95.2%가 신청을 마쳤다. 지급액은 8조7232억원으로 집계됐다.  사용 현황은 신용·체크카드 지급액 5조8608억원 가운데 절반가량인 3조404억원(51.9%)이 소비됐다. 이날 처음 공개된 지역별 신용·체크카드 소비율을 보면 서울보다 지역이 높은 편이었다. 제주가 57.2%로 가장 높았고 이어 인천 54.7%, 울산 54.6%, 광주 54.5%, 충북 54.1%, 대전 54.0%, 부산 53.7% 등이었다. 한 실장은 "비수도권에 3만원·5만원 더 준 부분도 있지만, 지역 영세소상공인 매출로 이어져 의미 있는 숫자"라며 "10%포인트(p) 차이는 아니지만 2~3%p라도 높은 것은 그만큼 비수도권이 어려웠다는 방증이자 (소비쿠폰이) 사용되고 있다는 신호"라고 말했다. 행안부는 2차 소비쿠폰 지급을 위한 예산에는 문제가 없다는 입장이다. 한 실장은 "사업 전체 13조9000억원 가운데 1조8000억원만 지방(예산)이고 나머지 12조1000억원가량이 국비다"라며 "(국비에서) 8조1000억원을 먼저 내렸고, 기획재정부 협조를 구해 이달 중순 정도에 4조1000억원을 조속하게 받기로 했다"고 말했다. [자료=행정안전부] 2025.08.08 sheep@newspim.com 한 실장은 "(소비쿠폰 2차 지급에 앞서) 지방채 발행이 필요 충분 조건은 아니고 충분조건 정도 될 것"이라며 "(지방재정법 통과는) 9월 본회의까지 하도록 목표를 잡고 있다"고 덧붙였다. 이번 추가경정예산안(추경)에는 민생쿠폰 관련 연구용역 예산 2억원도 담겼다. 소비쿠폰 등 현금성 지원에 대한 효과를 철저하게 분석한다는 취지다. 한 실장은 "민생쿠폰 추경에 연구용역비 2억원이 담겼다"며 "과거 2020~2021년 효과가 있냐 없냐 등 많은 비판이 있었다. 연구 용역을 제대로 하려는 것"이라고 설명했다. 조세정책연구원이나 KDI 등과 연구한다는 것이 행안부 현재 계획이다. 행안부는 하나로마트에서 사용할 수 있는 지역을 확대한다는 계획도 이날 밝혔다. 그간 도서산간지역 소비쿠폰 사용처가 제한적이라는 비판이 꾸준히 제기된데 따른 것이다.  한 실장은 "면 단위에서 동네에 마트 등이 전혀 없는 경우가 있어 하나로마트 121곳에서 현재 사용 가능하다"면서도 "현장을 가 보니 마트가 있어도 너무 영세해 고기나 채소 등 신선식품을 사기 어려운 경우가 있었다. 현재 시장·군수 대상으로 수요조사를 하고 있고, 빠른 시일 내로 하나로마트 사용처를 추가 지정할 것"이라고 말했다. 한 실장은 또 "추가 소비 진작 대책을 관계부처와 많이 만들고 있다"며 "행안부는 수도권 기업, 공기업, 관공서 등과 비수도권 간 자매결연을 맺는 소비진작 대책을 만들고 있다"고 밝혔다. sheep@newspim.com 2025-08-08 16:11
사진
주담대 이어 전세대출 문턱 높인다 [서울=뉴스핌] 정영희 기자 = 정부의 고강도 대출규제에 은행권 또한 전세대출 문턱을 높이고 있다. 가계대출 감축 취지에 발맞춘 조치이지만 서민 실수요자의 주거 사다리가 점점 짧아질 수 있다는 비판도 덩달아 커지는 모습이다. 최근 1년간 서울 아파트 전세 거래량 변동 추이 [그래픽=김아랑 미술기자] ◆ 대출 안 내준단 은행에… 집주인·세입자 모두 '망연자실' 8일 금융권은 이번 주부터 전국 단위로 조건부 전세대출 취급 제한을 확대했다. 신한은행은 지난 6일부터 10월까지 임대인 소유권 이전이나 보유 주택 처분을 조건으로 한 전세대출을 막기로 했다. 집주인이 기존에 갖고 있던 근저당을 말소하는 대신 나오는 전세대출도 마찬가지다. 본래 수도권을 대상으로만 금지했으나 이를 전국으로 확대한다. 하나은행은 이달 5일부터 9월 실행 예정인 전세대출의 신규 신청을 받지 않기로 했다. NH농협은행도 비슷한 상황이다. IBK기업은행은 이보다 하루 빠른 이달 4일부터 대출 모집인을 통한 전세대출 추가 접수를 전면 중단했다. 정부는 지난 6월 27일 수도권·규제지역의 '가계부채 관리 강화 방안'을 발표하며 가계대출 조이기에 나섰다. 같은 달 28일부터 수도권 내 주택담보대출 한도를 6억원 이하로 제한하고 다주택자의 추가 주택구입 대출을 전면 금지했다. 세입자가 전세자금대출을 받는 날 해당 주택 소유권을 이전하는 것을 조건으로 하는 소유권 이전 조건부 전세대출도 불가하다. 이와 함께 하반기 은행권 가계대출 증가 목표치를 기존의 절반으로 줄였다. 5대 은행(국민·신한·하나·우리·농협)은 가계대출 증가액 목표치를 7조2000억원에서 3조6000억원으로 축소했다. 지난달 가계대출 증가액은 4조1386억원으로 전월(6조7536억원)보다 38.7% 줄었다. 갭투자를 차단하겠다는 명목이지만 당장 자금 조달에 차질이 생기면서 전세 입주를 앞둔 이들은 발등에 불이 떨어졌다. 수중에 돈이 없는데 은행 대출 문까지 막히면서 입주를 못 하는 일이 벌어지고 있어서다. 대출이 많이 껴있는 집이나 주택 여러 채를 소유한 임대인의 집에 들어가려면 대출이 나오지 않을 수 있다.  전세 매물도 감소세다. 전세계약 만료를 앞둔 집주인도 대출이 안 나와 보증금 반환이 어려워지자 세입자를 받는 대신 직접 입주를 선택하는 일이 늘었다. 부동산 빅데이터업체 '아실'에 따르면 6일 기준 서울 아파트 전세 매물은 2만3467건으로 전년 동기(2만6512건) 대비 11.5% 감소했다.  거래량도 내리막길을 걷고 있다. 서울부동산정보광장에 따르면 지난달 서울 아파트 전세 거래량은 9546건으로 전월(1만2120건) 대비 21% 줄었다. 수요는 많은데 매물은 줄어들면서 가격은 상승세다. 지난달 서울 아파트 중위 전세가격은 평균 5억6333만원으로 한 달 사이 333만원 올랐다. 전년 동기(5억 3167만 원)와 비교하면 6.0% 뛰었다. ◆ "돈도 매물도 없다" 갈 곳 없는 세입자, 월세로 눈 돌려 6.27 대출규제에 정책대출 감축 내용도 포함되며 전셋값 상승 압력을 더욱 키울 수 있다는 분석이 나온다. 서민 주거 안정을 위해 지원되던 청년·신혼부부·신생아 버팀목 전세대출의 한도도 줄었다. 상품에 따라 상한선이 최소 4000만원에서 많게는 6000만원까지 내려오면서, 이를 통해 보증금을 마련하려던 예비 세입자들의 부담이 커지게 됐다. 이재윤 집토스 대표는 "2년 전보다 전세가가 하락해 보증금 반환에 어려움을 겪고 있는 일부 집주인 입장에선 이번 규제가 전세 보증금 반환 리스크를 더욱 가중시키는 또 다른 변수로 다가올 것"이라고 말했다. 양지영 신한 프리미어 패스파인터 전문위원 "정책대출이 줄어들면 장기 저리 대출 수단이 사라지면서 주거 사다리 형성이 더 어려워진다"며 "청년, 신혼부부 등 초기 자산 형성이 되지 않은 계층과 주택 구입이 더 멀어지며 임대시장으로 밀려나는 현상이 가속화될 것"이라고 설명했다. 무주택 실수요자는 전셋값이 오르고 자금줄은 막힌 이중고 속에서 집을 구하긴 해야 하니 반전세나 월세 등을 선택할 수밖에 없는 처지다. 국토교통부 실거래가 공개시스템에 따르면 지난달 서울에서 발생한 아파트 신규 임대차 계약 중 월세 비중은 42.2%(5555건 중 2345건)으로 전년 동기(41.5%)보다 0.7%p 증가했다. 이런 상황에서 국정기획위원회가 전세대출과 정책모기지에도 총부채원리금상환비율(DSR) 적용을 검토하겠다고 알려지며 우려가 더욱 커졌다. 전문가들은 대출 규제의 부작용을 해결할 추가 대책이 적절히 마련돼야 한다며 입을 모은다.  김인만 김인만경제연구소 소장은 "집값 급등의 원인이 되는 수급 불균형 문제 해결이나 세금 관련 규제 등을 통해 주택시장을 안정화하겠다는 메시지를 던질 시점"이라고 말했다. 김덕례 주택연구실장은 "이전 정부 경험에 비춰볼 때 이번 대출 규제 효과는 3∼6개월에 불과할 우려가 있다"며 "빠르고 강력한 공급 대책을 강구하지 않으면 눌려 있던 매매 수요가 저금리와 경기 활성화 분위기를 타고 다시 살아나면서 4분기 중 집값이 다시 급등세로 돌아설 가능성이 크다"고 말했다. chulsoofriend@newspim.com 2025-08-08 06:10
안다쇼핑
Top으로 이동