무료로 문장에서 동영상을 생성하는 AI 「Text2Video-Zero」리뷰

2023년 3월 25일, 동영상 생성 AI 「Text2Video-Zero」의 데모 앱이 공개되었습니다.

Text2Video-Zero를 사용하면 문장을 입력하는 것 만으로 몇 초간의 짧은 동영상을 쉽게 생성할 수 있습니다.

Text2Video-Zero - a Hugging Face Space by PAIR
https://huggingface.co/spaces/PAIR/Text2Video-Zero

Text2Video-Zero - a Hugging Face Space by PAIR

Text2Video-Zero 데모 앱을 사용하려면 먼저 위의 링크를 방문합니다.

동영상을 생성하려면 "Prompt"라고 적힌 입력란에 "무비 설명문(프롬프트)"을 입력하고 "Run"을 클릭하면 OK. 

이번에는 「A cat is playing baseball.(야구를 플레이하는 고양이)」라고 입력하고 나서 「Run」을 클릭했습니다.

Run을 클릭하면 동영상 생성이 시작되므로 잠시 기다립니다.

잠시 기다리면 화면 오른쪽에 동영상이 표시됩니다. 무비는 좌측 하단의 재생 버튼을 클릭하면 재생 가능. 
덧붙여, 이번에는 영상이 생성되기까지 약 13분 걸렸습니다.

생성한 동영상을 저장하려면 오른쪽 클릭 메뉴에서 "다른 이름으로 동영상 저장"을 선택하면 OK.

Text2Video-Zero의 데모 앱에는 사용 예로 'an astronaut waving the arm on the moon(월면에서 손을 흔드는 우주 비행사)', 'a sloth surfing on a wakeboard(웨이크보드에서 서핑하는 나무늘보)' 등의 생성 결과 세트가 여럿 준비되어 있으며, 각 프롬프트를 클릭하면 생성 결과를 볼 수 있습니다.

또, Text2Video-Zero에는 「문장을 입력하여 영상 생성」기능 이외에, 「문장과 참고 영상을 입력하여 영상 생성」기능도 탑재되어 있습니다.

그 밖에도, 「문장과 참고 포즈를 입력하여 영상 생성」 기능도 탑재.

「문장과 윤곽 데이터를 입력하여 영상 생성」 도 가능합니다.

또한 추가 학습한 DreamBooth 모델과 윤곽 데이터를 사용하여 원하는 도안의 영상을 생성할 수도 있습니다.

덧붙여 아래의 링크에서는 Text2Video-Zero를 실행하기 위해서 필요한 파일이 공개되어 있습니다.
그러나 Text2Video-Zero를 로컬로 실행하려면 12GB 이상의 비디오 메모리를 탑재한 GPU가 필요합니다.

GitHub - Picsart-AI-Research/Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators

GitHub - Picsart-AI-Research/Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators