텍스트나 이미지로부터 동영상을 생성하는 AI 「Stable Video Diffusion」을 Stability AI가 공개
![](https://blog.kakaocdn.net/dn/bfNuRt/btsAKQ2Ez87/vjCVrkutoG9N8Vr6Uvlkzk/img.png)
이미지 생성 AI 「Stable Diffusion」을 개발하는 Stability AI가 텍스트나 화상으로부터 고해상도의 동영상을 생성할 수 있는 잠재 동영상 확산 모델 「Stable Video Diffusion 」을 공개했습니다.
Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets — Stability AI
Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets — Stability AI
We present Stable Video Diffusion — a latent video diffusion model for high-resolution, state-of-the-art text-to-video and image-to-video generation.
stability.ai
![](https://blog.kakaocdn.net/dn/vghC7/btsAMT5craq/rw6iPtxNVY2KbOnxtPiRf0/img.png)
Stable Video Diffusion은 연구 미리 보기로 게시되며 소스 코드는 GitHub 리포지토리에 공개됩니다.
GitHub - Stability-AI/generative-models: Generative Models by Stability AI
https://github.com/Stability-AI/generative-models
GitHub - Stability-AI/generative-models: Generative Models by Stability AI
Generative Models by Stability AI. Contribute to Stability-AI/generative-models development by creating an account on GitHub.
github.com
![](https://blog.kakaocdn.net/dn/ekAUHZ/btsAJHegqYq/7tQTkLugpj3iAKKVff7060/img.jpg)
또한 로컬에서 모델을 실행하는 데 필요한 가중치는 HuggingFace에서 확인할 수 있습니다.
stabilityai/stable-video-diffusion-img2vid-xt · Hugging Face
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt
stabilityai/stable-video-diffusion-img2vid-xt · Hugging Face
Stable Video Diffusion Image-to-Video Model Card Stable Video Diffusion (SVD) Image-to-Video is a diffusion model that takes in a still image as a conditioning frame, and generates a video from it. Model Details Model Description (SVD) Image-to-Video is a
huggingface.co
Stable Video Diffusion은 14 프레임과 25 프레임을 생성할 수 있는 2가지 이미지 to Video 모델로 출시되었으며 3fps ~ 30fps로 사용자 정의 가능한 프레임 속도로 동영상을 생성할 수 있습니다.
"Ice dragon in the mountains(산 속의 아이스 드래곤)"를 입력하면 그대로의 애니메이션이 생성됩니다.
![](https://blog.kakaocdn.net/dn/bgMwBq/btsAJzm5Ohi/Up6AU18DihHuHGsf7Q4nLK/img.png)
"Astronaut walking on the moon(달을 걷는 우주 비행사)"
![](https://blog.kakaocdn.net/dn/DI0EQ/btsAMVPswC0/57sIkYwbmg0rFLiqQvO781/img.png)
"Two blue jays on the top of building(건물 꼭대기에 머무는 2마리의 어치 )"
![](https://blog.kakaocdn.net/dn/bke59T/btsALbsedjv/flO6uifPt7QBglpKmOQXK0/img.png)
Stability AI는 runway Research의 GEN-2와 pika.art의 PikaLabs의 사용자에 의한 영상 품질 평가(세로축)를 비교한 결과입니다. 14 프레임으로 생성한 Stable Video Diffusion(보라색)의 비교는 이렇습니다.
![](https://blog.kakaocdn.net/dn/bXsyoZ/btsAJ1pPkML/TkngPZiYQHIoa6cERC7fmk/img.png)
25 프레임 생성할 수 있는 Stable Video Diffusion XT(보라색)의 경우가 이하.
![](https://blog.kakaocdn.net/dn/k9E6j/btsAM3tawNB/DNJHMGKkqtNrZKB2uOk1Hk/img.png)