이미지 생성 AI 「Stable Diffusion」을 개발하는 Stability AI가 텍스트나 화상으로부터 고해상도의 동영상을 생성할 수 있는 잠재 동영상 확산 모델 「Stable Video Diffusion 」을 공개했습니다.
Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets — Stability AI
Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets — Stability AI
We present Stable Video Diffusion — a latent video diffusion model for high-resolution, state-of-the-art text-to-video and image-to-video generation.
stability.ai
Stable Video Diffusion은 연구 미리 보기로 게시되며 소스 코드는 GitHub 리포지토리에 공개됩니다.
GitHub - Stability-AI/generative-models: Generative Models by Stability AI
https://github.com/Stability-AI/generative-models
GitHub - Stability-AI/generative-models: Generative Models by Stability AI
Generative Models by Stability AI. Contribute to Stability-AI/generative-models development by creating an account on GitHub.
github.com
또한 로컬에서 모델을 실행하는 데 필요한 가중치는 HuggingFace에서 확인할 수 있습니다.
stabilityai/stable-video-diffusion-img2vid-xt · Hugging Face
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt
stabilityai/stable-video-diffusion-img2vid-xt · Hugging Face
Stable Video Diffusion Image-to-Video Model Card Stable Video Diffusion (SVD) Image-to-Video is a diffusion model that takes in a still image as a conditioning frame, and generates a video from it. Model Details Model Description (SVD) Image-to-Video is a
huggingface.co
Stable Video Diffusion은 14 프레임과 25 프레임을 생성할 수 있는 2가지 이미지 to Video 모델로 출시되었으며 3fps ~ 30fps로 사용자 정의 가능한 프레임 속도로 동영상을 생성할 수 있습니다.
"Ice dragon in the mountains(산 속의 아이스 드래곤)"를 입력하면 그대로의 애니메이션이 생성됩니다.
"Astronaut walking on the moon(달을 걷는 우주 비행사)"
"Two blue jays on the top of building(건물 꼭대기에 머무는 2마리의 어치 )"
Stability AI는 runway Research의 GEN-2와 pika.art의 PikaLabs의 사용자에 의한 영상 품질 평가(세로축)를 비교한 결과입니다. 14 프레임으로 생성한 Stable Video Diffusion(보라색)의 비교는 이렇습니다.
25 프레임 생성할 수 있는 Stable Video Diffusion XT(보라색)의 경우가 이하.
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| Meta가 이미지 생성 AI「Imagine」을 무료로 사용할 수 있는 웹 앱을 출시 (74) | 2023.12.08 |
|---|---|
| Amazon이 프롬프트형 이미지 생성 AI "Titan Image Generator"의 미리보기 버전을 출시 (2) | 2023.12.01 |
| 드디어 Windows의 「그림판」에도 AI가 탑재되어 이미지 생성이 가능 (5) | 2023.12.01 |
| AI가 1장의 사진으로부터 고해상도 3DCG 모델을 생성해주는「Human-SGD」 (1) | 2023.11.27 |
| Meta가 문장으로부터 위화감 없는 동영상을 생성하는 AI 「Emu Video」를 발표 (56) | 2023.11.21 |
| 일러스트나 사진 작품에 독을 심어 AI 학습을 방해하는 학습방지 툴 「Nightshade」 (0) | 2023.10.25 |
| AI Picasso가 상용 AI 아트용 이미지 생성 AI 'Emi'와 'Manga Diffusion'을 무료로 공개 (0) | 2023.10.16 |
| Google 검색 바에서 AI 이미지를 생성할 수 있는 'Search Generative Experience'가 등장 (0) | 2023.10.16 |
