Stability AI가 멀티 앵글 영상을 생성하기 위한 AI 모델 「 Stable Video 4D」 를 발표했습니다.
Stable Video 4D : 다이나믹 멀티 앵글 영상 생성을 위한 최신 AI 모델 — Stability AI
Stable Video 4D — Stability AI
We are pleased to announce the availability of Stable Video 4D, an innovative model that allows users to upload a single video and receive dynamic novel-view videos of eight new angles/views, delivering a new level of versatility and creativity.
stability.ai
SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi- View Consistency
https://sv4d.github.io/
SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency
Abstract We present Stable Video 4D (SV4D) — a latent video diffusion model for multi-frame and multi-view consistent dynamic 3D content generation. Unlike previous methods that rely on separately trained generative models for video generation and novel
sv4d.github.io
Stable Video 4D는 Stability AI 최초의 비디오 투 비디오 생성 모델로, 동영상에서 다른 각도와 뷰의 동영상을 생성할 수 있다는 것. 사용자는 하나의 동영상을 업로드하기만 하면 8가지 다른 각도의 동영상을 출력할 수 있습니다. 사용자는 생성되는 동영상의 카메라 각도를 지정할 수 있으며 특정 광고 소재 요구에 맞게 출력을 조정할 수 있습니다.
Stable Video 4D는 이미지에서 동영상을 출력할 수 있는 AI 모델의 Stable Video Diffusion 과 Stable Video 3D를 기반으로 개발된 AI 모델로, 입력한 동영상에 비치는 오브젝트의 복수의 신규 뷰 동영상(4D 이미지 매트릭스)을 생성하여 다른 각도의 동영상을 생성합니다.
유저는 1개의 동영상을 업로드해, 원하는 3D 카메라의 포즈를 지정하는 것만으로 OK. 그러면 Stable Video 4D는 지정된 카메라의 시점에 따라 8개의 새로운 시점 동영상을 생성하여 피사체의 포괄적인 다각적 시점을 제공해 줍니다. 생성된 동영상에 대해 Stability AI는 “동영상 내 피사체의 동적 3D 표현을 효율적으로 최적화하는 데 사용할 수 있습니다”라고 설명했습니다.
Stable Video 4D는 Stability AI 최초의 비디오 투 비디오 생성 모델로, 동영상에서 다른 각도와 뷰의 동영상을 생성합니다. 사용자는 하나의 동영상을 업로드하기만 하면 8가지 다른 각도의 동영상을 출력할 수 있습니다.
Stable Video 4D는 이미지에서 동영상을 출력할 수 있는 AI 모델의 Stable Video Diffusion과 Stable Video 3D를 기반으로 개발된 AI 모델로, 입력한 동영상에 비치는 오브젝트의 복수의 신규 뷰 동영상(4D 이미지 매트릭스)을 생성하여 다른 각도의 동영상을 생성합니다.
Stable Video 4D는 8개의 시점에 걸쳐 5 프레임의 동영상을 약 40초로 생성할 수 있어, 전체의 4D 최적화에는 약 20~25분 걸린다고 합니다. Stability AI는 Stable Video 4D의 사용 용도에 대해 "게임 개발, 동영상 편집, VR 콘텐츠 생성 등의 분야"에서 미래에 응용할 수 있다고 가정합니다.
또한 Stable Video 4D 교육 데이터 세트에는 Open Data Commons Attribution License로 배포되는 Objaverse가 사용됩니다.
Stable Video 4D는 Hugging Face에서 사용할 수 있습니다. 단, 연간 수익이 100만 달러를 초과하는 개인 또는 조직의 경우, Stable Video 4D를 상용 이용하기 전에 Stability AI로부터 직접 엔터프라이즈 상용 라이센스를 취득해야 합니다.
stabilityai/sv4d · Hugging Face
https://huggingface.co/stabilityai/sv4d
stabilityai/sv4d · Hugging Face
Inference API (serverless) has been turned off for this model.
huggingface.co
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Meta가 이미지뿐만 아니라 동영상의 객체도 실시간으로 정확하게 식별 가능한 AI 모델 "Segment Anything Model 2 (SAM 2)"를 출시 (0) | 2024.07.31 |
|---|---|
| OpenAI의 경영은 대적자로 2024년의 부채는 약 7700억엔 (0) | 2024.07.31 |
| EA가 AI를 사용해 불과 3개월 만에 1만 1천 명분의 대학 미식축구 선수를 스캔하여 게임에 구현하는 데 성공 (1) | 2024.07.30 |
| 1조의 텍스트 토큰, 34억개의 이미지, PDF, ArXiv의 논문 등을 포함한 오픈 소스 데이터 세트 MINT-1T (1) | 2024.07.26 |
| 코드 생성 · 수학 · 추론 능력이 대폭 향상된 「Mistral Large 2」 출시 (1) | 2024.07.26 |
| 기계 학습으로 기존의 3500배 이상 빠르고 비용이 10만분의 1로 억제되는 기상 예측 모델 「NeuralGCM」을 Google Research가 공개 (0) | 2024.07.26 |
| OpenAI가 인간을 사용하지 않고 AI의 안전성을 높이는 방법 「Rule-Based Rewards(RBR)」를 개발 (0) | 2024.07.26 |
| AI 모델 훈련에 AI 생성 데이터를 사용하면 AI가 사물을 망각해 버리는 "모델 붕괴"가 일어난다는 지적 (0) | 2024.07.26 |
