스토리성이 있는 만화를 자동 생성하는 AI 모델 「StoryDiffusion」
AI로 생성한 이미지를 사용한 만화의 저작권이 미국에서 논란을 일으키거나, 만화의 설정과 개요를 제안해 주는 AI 서비스가 등장하는 등, AI는 그림과 일러스트의 생성뿐만 아니라 만화 작품의 제작에도 활용되게 되었습니다.
중국의 ByteDance와 남개 대학의 연구팀이 스토리가 있는 만화를 출력할 수 있는 AI 모델 'StoryDiffusion'을 발표했습니다.
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
https://storydiffusion.github.io/
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
Demo Video StoryDiffusion can create Magic Story, achieving Long-Range Image and Video Generation! Comics Generation StoryDiffusion creates comics in various styles through the proposed consistent self-attention, maintaining consistent character styles and
storydiffusion.github.io
StoryDiffusion은 통일성 있는 만화 캐릭터를 출력할 수 있습니다. 예를 들어, 다음은 아기 새, 다람쥐, 고슴도치 캐릭터로 "침대에서 일어나", "아침 식사를 먹는", "도로에 있다" 등의 프롬프트로 출력한 결과입니다만, 캐릭터의 조형이나 도안이 거의 변하지 않고 있습니다.
등장인물이 복수라도 일관성을 유지하는 것이 가능합니다.
이러한 기능을 통해 StoryDiffusion을 사용하면 스토리가 있는 만화를 생성할 수 있습니다. 예를 들면, 아래는 「튜링상을 수상했을 때」 라는 테마로 만화가 생성되고 있고, 오른쪽 3명의 남성이 수상 소식을 듣고 회장에서 만난다는 등의 설정으로 되어 있습니다. 손의 표현은 조금 미흡하지만, 등장인물의 외형은 일관된 것을 알 수 있습니다.
'소녀와 다람쥐'라는 제목의 귀여운 도안 만화도 있습니다.
연구팀은 스토리를 따라 일련의 이미지를 생성하기 위해 스토리의 텍스트를 여러 프롬프트로 나누고 이러한 프롬프트를 기반으로 이미지를 일괄 생성하여 일관된 여러 이미지를 생성할 수 있도록 했다고 합니다.
