「스테이블 디퓨전(Stable Diffusion)」을 이용한 자동 GIF생성 모델「stable-diffusion-animation」이 등장

이미지 생성 AI "Stable Diffusion"을 이용한 GIF 애니메이션을 자동 생성해주는 모델 「stable-diffusion-animation」이 GitHub에 공개되었습니다.

andreasjansson/stable-diffusion-animation – Run with an API on Replicate
https://replicate.com/andreasjansson/stable-diffusion-animation

andreasjansson/stable-diffusion-animation – Run with an API on Replicate

위의 GitHub에 액세스 하면 다음과 같은 화면이 나타납니다. 이미 샘플이 움직이고 있습니다만, 스스로 편집을 더하는 것이 가능합니다. 또한 편집을 하려면 GitHub에 로그인해야 합니다.

 

 

 

먼저 어떤 그림을 만들어 내고 어떤 그림으로 변화시킬지를 시작과 종료 프롬프트에 기입합니다.

다음으로는 생성할 GIF 애니메이션의 폭과, 높이를 선택. 노이즈 제거 스텝, 일관성을 정하는 프롬프트 강도, 애니메이션의 프레임수, 프레임간의 보간 스텝수, 분류자 없는 가이던스의 척도를 설정합니다.

FPS, 애니메이션의 끝에서 다시 시작 프롬프트로 향하게 할 것인지, 프레임간의 보간에 FILM을 사용할지, 생성 시에 중간층의 출력을 표시할지를 결정하고 「Submit」을 클릭하면 생성이 시작됩니다.

생성에는 2분 정도 걸립니다.

생성이 끝나면 다음과 같이 GIF 애니메이션이 재생됩니다. 여기에서 GIF 애니메이션 다운로드도 가능합니다.

이번에 생성한 GIF 애니메이션은 아래 이미지를 클릭하여 재생할 수 있습니다.

 

시작 프롬프트를 "The quick brown fox jumps over the lazy dog(빠른 갈색 여우가 게으른 개를 뛰어 넘는다)"

종료 프롬프트를 "The lazy dog ​​watches the quick white cat(게으른 개는 빠른 흰색 고양이를 본다)"라고 했는데,

왠지 여우가 여우를 뛰어넘으려고 하는 장면에서 시작됩니다.

 

그 후에 흰 고양이를 응시하는 개가 등장.

그리고 왠지 흰 고양이가 2마리로 되고

마지막은 시작 프롬프트를 향해 그림이 변화해 갑니다.

문장뿐만 아니라 단어를 쉼표로 구분하여 입력해도 됩니다. 이번에는 시작 프롬프트를 'black cat(검은 고양이), three witches laugh(웃는 3명의 마녀), candles are all out(꺼진 촛불), owl(올빼미), bloody dagger(피투성이의 단검), 종료 프롬프트를 "horrible green-skinned witch with tie(무서운 녹색 피부의 마녀), grown serpent lies(누워 있는 큰 뱀)"이라고 입력해 보았습니다.

 

위의 프롬프트에서 생성된 GIF 애니메이션은 아래 이미지를 클릭하시면 볼 수 있습니다.