이미지 생성 AI로 애니메이션을 만든 용자가 나타났다.

애니메이션은 무빙 포인트가 되는 원화와 원화 사이에,「나카와리(중간분할 : 애니메이션의 작화 공정의 하나로, 원화와 원화의 사이를 보충하는 작업)」이라고 불리는 컷을 사이에 두어 캐릭터나 물체가 실제로 움직이고 있는 것처럼 보이게 합니다. 그런 중간분할을, 2차원 이미지 생성에 뛰어난 AI「NovelAI」로 작성하는 방법을 발견했다고, Twitter 유저인 아오(@ao_love_yuimop) 씨가 해설하고 있습니다.

아오 씨는 NovelAI를 만지던 중, 앞뒤 이미지로부터 중간 동작을 그려 중간분할 이미지를 생성하는 방법을 발견했습니다. 실제로 아오씨가, 8장의 NovelAI제 원화를 바탕으로 78장의 중간 분할 이미지를 생성 & 연결함으로써 만든 애니메이션 영상이 아래입니다. 영상의 주인공은 강아지계 VTuber「유이모푸」로, 유이모푸가 농구공을 손에 들고 바스켓 코트를 이동, 마지막에는 덩크 슛을 넣는 영상으로 완성되고 있습니다.

이미지 생성 AI의 NovelAI에서 중간 분할 이미지를 만드는 방법을 발견했으므로, "유이 떡"의 2D 애니메이션 동영상을 만들었습니다 (원화 8 장, 동영상 78 장) (중할 할 이미지 생성 용 이미지 생성 사이트 포함) ) 방법: https://qiita.com/ystmg/items/c78c2b3e0bcdf0f77125 동영상(고화질): https://nicovideo.jp/watch/sm41552041 #NovelAI #AI 일러스트 https://t.co/1QrbKjpJcP
動画(高画質): https://t.co/jsF8WAMY7Q#NovelAI #AIイラスト pic.twitter.com/8giFiZ8Uym

— あお (@ao_love_yuimop)

아오씨는 실제로「중간분할 이미지 생성에 이용할 이미지」를 생성하는 서비스를 공개하고 있으며, 그 작성 순서를 해설하고 있습니다. 우선, 중간분할 이미지를 생성하기 위해서는 움직임의 전후가 될 이미지를 2장 준비합니다.

계속해서, 눈의 양단이나 동체의 Y축 좌표의 양단 등의 특징점을, 전후의 화상에 각각 2점씩, 합계 4점을 지정합니다.

이 이미지와 특징점을 바탕으로 NovelAI에 입력하기 위한 "중간분할 이미지 생성용 이미지"가 생성됩니다. 생성된 이미지는 전후의 이미지에서 입력한 특징점의 중간점이 중간이 되도록 이동시켜, 스케일도 정확히 중간이 되도록 조정하고, 배경이 하얗게 되지 않도록 축소원의 화상을 배치하면서 , 인물의 투명도가 50%씩 되도록 겹친 것이라고 합니다.

이 이미지를 NovelAI에 입력하고 image to image로 이미지를 출력시킴으로써 동작적으로 중간중간 분할 이미지를 얻을 수 있다는 구조입니다. 이렇게 생성된 중간 분할 이미지를 새로운 원화로서 한층 더 중간분할 이미지를 생성함으로써, 매끄러운 움직임의 애니메이션을 만드는 것이 가능하다는 것. 덧붙여 아오씨는 투고한 영상에서, NovelAI가 생성한 이미지로 마음에 들지 않았던 부분을 일부 수정하는 것 외에, 농구공을 추가로 그려 넣기도 했다고 설명하고 있습니다.

좀 더 자세한 내용은 아래 참고
https://qiita.com/ystmg/items/c78c2b3e0bcdf0f77125

画像生成AIで動作含めアニメの中割り画像を作る方法を発見したので、その方法を実行するWebサ