Stability AI가 1개의 동영상에서 다른 8개 앵글의 동영상을 생성하는 AI 모델 「Stable Video 4D」 를 발표

 
 
Stability AI가 멀티 앵글 영상을 생성하기 위한 AI 모델 「 Stable Video 4D」 를 발표했습니다.

Stable Video 4D : 다이나믹 멀티 앵글 영상 생성을 위한 최신 AI 모델 — Stability AI

Stable Video 4D — Stability AI

SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi- View Consistency
https://sv4d.github.io/

SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency

Stable Video 4D는 Stability AI 최초의 비디오 투 비디오 생성 모델로, 동영상에서 다른 각도와 뷰의 동영상을 생성할 수 있다는 것. 사용자는 하나의 동영상을 업로드하기만 하면 8가지 다른 각도의 동영상을 출력할 수 있습니다. 사용자는 생성되는 동영상의 카메라 각도를 지정할 수 있으며 특정 광고 소재 요구에 맞게 출력을 조정할 수 있습니다.

Stable Video 4D는 이미지에서 동영상을 출력할 수 있는 AI 모델의 Stable Video Diffusion 과 Stable Video 3D를 기반으로 개발된 AI 모델로, 입력한 동영상에 비치는 오브젝트의 복수의 신규 뷰 동영상(4D 이미지 매트릭스)을 생성하여 다른 각도의 동영상을 생성합니다.

유저는 1개의 동영상을 업로드해, 원하는 3D 카메라의 포즈를 지정하는 것만으로 OK. 그러면 Stable Video 4D는 지정된 카메라의 시점에 따라 8개의 새로운 시점 동영상을 생성하여 피사체의 포괄적인 다각적 시점을 제공해 줍니다. 생성된 동영상에 대해 Stability AI는 “동영상 내 피사체의 동적 3D 표현을 효율적으로 최적화하는 데 사용할 수 있습니다”라고 설명했습니다.

Stable Video 4D는 Stability AI 최초의 비디오 투 비디오 생성 모델로, 동영상에서 다른 각도와 뷰의 동영상을 생성합니다. 사용자는 하나의 동영상을 업로드하기만 하면 8가지 다른 각도의 동영상을 출력할 수 있습니다.

Stable Video 4D는 이미지에서 동영상을 출력할 수 있는 AI 모델의 Stable Video Diffusion과 Stable Video 3D를 기반으로 개발된 AI 모델로, 입력한 동영상에 비치는 오브젝트의 복수의 신규 뷰 동영상(4D 이미지 매트릭스)을 생성하여 다른 각도의 동영상을 생성합니다.

Stable Video 4D는 8개의 시점에 걸쳐 5 프레임의 동영상을 약 40초로 생성할 수 있어, 전체의 4D 최적화에는 약 20~25분 걸린다고 합니다. Stability AI는 Stable Video 4D의 사용 용도에 대해 "게임 개발, 동영상 편집, VR 콘텐츠 생성 등의 분야"에서 미래에 응용할 수 있다고 가정합니다.

또한 Stable Video 4D 교육 데이터 세트에는 Open Data Commons Attribution License로 배포되는 Objaverse가 사용됩니다.

Stable Video 4D는 Hugging Face에서 사용할 수 있습니다. 단, 연간 수익이 100만 달러를 초과하는 개인 또는 조직의 경우, Stable Video 4D를 상용 이용하기 전에 Stability AI로부터 직접 엔터프라이즈 상용 라이센스를 취득해야 합니다.

stabilityai/sv4d · Hugging Face
https://huggingface.co/stabilityai/sv4d

stabilityai/sv4d · Hugging Face