AI로 생성한 이미지를 사용한 만화의 저작권이 미국에서 논란을 일으키거나, 만화의 설정과 개요를 제안해 주는 AI 서비스가 등장하는 등, AI는 그림과 일러스트의 생성뿐만 아니라 만화 작품의 제작에도 활용되게 되었습니다.
중국의 ByteDance와 남개 대학의 연구팀이 스토리가 있는 만화를 출력할 수 있는 AI 모델 'StoryDiffusion'을 발표했습니다.
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
https://storydiffusion.github.io/
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
Demo Video StoryDiffusion can create Magic Story, achieving Long-Range Image and Video Generation! Comics Generation StoryDiffusion creates comics in various styles through the proposed consistent self-attention, maintaining consistent character styles and
storydiffusion.github.io
StoryDiffusion은 통일성 있는 만화 캐릭터를 출력할 수 있습니다. 예를 들어, 다음은 아기 새, 다람쥐, 고슴도치 캐릭터로 "침대에서 일어나", "아침 식사를 먹는", "도로에 있다" 등의 프롬프트로 출력한 결과입니다만, 캐릭터의 조형이나 도안이 거의 변하지 않고 있습니다.
등장인물이 복수라도 일관성을 유지하는 것이 가능합니다.
이러한 기능을 통해 StoryDiffusion을 사용하면 스토리가 있는 만화를 생성할 수 있습니다. 예를 들면, 아래는 「튜링상을 수상했을 때」 라는 테마로 만화가 생성되고 있고, 오른쪽 3명의 남성이 수상 소식을 듣고 회장에서 만난다는 등의 설정으로 되어 있습니다. 손의 표현은 조금 미흡하지만, 등장인물의 외형은 일관된 것을 알 수 있습니다.
'소녀와 다람쥐'라는 제목의 귀여운 도안 만화도 있습니다.
연구팀은 스토리를 따라 일련의 이미지를 생성하기 위해 스토리의 텍스트를 여러 프롬프트로 나누고 이러한 프롬프트를 기반으로 이미지를 일괄 생성하여 일관된 여러 이미지를 생성할 수 있도록 했다고 합니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Meta가 광고주용 생성 AI 도구의 강화를 발표 (2) | 2024.05.09 |
|---|---|
| 설치없이 Llama 3나 Mistral 등 오픈 소스 LLM을 브라우저로 실행하는 챗봇 「Secret Llama」가 등장 (9) | 2024.05.08 |
| 대규모 언어 모델로 로봇 교육을 가속화하는 기술, DrEureka를 NVIDIA 연구팀이 개발 (2) | 2024.05.08 |
| Z 세대는 인플루언서가 실제 인간인지 여부를 거의 신경 쓰지 않는다 (3) | 2024.05.07 |
| Forebes가 선택한 「2024년의 주목할 만한 AI 관련 기업 50사」 발표 (85) | 2024.04.30 |
| 스마트 글라스를 초저전력으로 움직일 수 있게 되는 「AI 소나 기술」 (93) | 2024.04.29 |
| 일러스트레이터의 4분의 1과 번역가의 3분의 1이 AI로 인해 일을 잃고 있음 (92) | 2024.04.29 |
| 무료로 상용 이용도 가능한 SQL, 코딩 생성 등에 최적화된 LLM 「Snowflake Arctic」 (93) | 2024.04.29 |
