일러스트를 입력하면 제작 과정을 타임랩스 촬영한 것 같이 출력해주는 AI 「Paints-Undo」

 
 
일러스트를 입력하는 것만으로 그 일러스트의 제작 플로우를 타임랩스 촬영한 것 같은 영상을 출력할 수 있는 AI 「Paints-Undo」 가 개발되었습니다. 개발자는 ControlNet 의 저자로 알려진 llyasviel 입니다.

PaintsUndo: A Base Model of Drawing Behaviors in Digital Paintings

PaintsUndo: A Base Model of Drawing Behaviors in Digital Paintings

Paints-Undo는 이미지를 입력으로 받아 그 이미지의 드로잉 시퀀스를 출력할 수 있는 AI 모델로, "선을 그리거나 원래대로 되돌리거나 하는 시행착오를 통해 일러스트를 만들어가는 것 같은 영상"을 출력할 수 있습니다. 덧붙여 Paints-Undo라는 이름은 일러스트 작성 시에 많이 사용하는 「취소(Undo)」 에서 따 온 것이라고 합니다.

 

llyasviel은 Paints-Undo 데모 페이지에서 여러 I/O 예제를 소개합니다. 데모 페이지에서 입력에 사용된 이미지는 모두 AI에 의해 생성된 이미지라는 것.

다음은 Paints-Undo의 데모에 사용하기 위해 AI로 생성한 일러스트입니다.

 

이 일러스트를 Paints-Undo에 입력한 결과 동영상이 아래입니다.

그 밖에도 복수의 데모가 소개되고 있어, 꽤 거친 러프로부터 영상이 시작되고 있는 것도 있습니다.

실제의 일러스트 제작에서는, 러프로부터 선화를 작성하면 그 후의 채색으로 크게 외관을 바꾸지 않는 사람도 많습니다만, Paints-Undo의 경우는 채색이 시작된 단계에서도 완성된 일러스트와는 거리가 먼 것이 특징입니다. 인간에 의한 일반적인 작업은 채색하면서 윤곽 등도 그려 나갈 수 있기 때문에, 인간의 작업과 구별하기 어려운 것은 아닙니다.

최종적으로는 선・칼라 모두 입력한 일러스트에 가까운 내용이 되었습니다. 아래의 데모의 경우에는 끝까지 입가의 묘사가 입력한 일러스트와 다르지만, 출력한 영상의 끝에 입가를 수정하는 형태로 원래의 일러스트에 맞추었습니다.

반응형

Paints-Undo에서는, 최초의 밑그림의 러프함을 지정해 제작 과정을 출력하는 것도 가능합니다.

입력 이미지는 디지털 일러스트풍 뿐만이 아니라, 미국 카툰이나 게임 캐릭터와 같은 것, 흑백의 수채화 화풍에서도 가능한 모양.

한편, 사진으로부터 리얼한 일러스트를 작성하거나, 많은 인물이나 복잡한 배경이 포함되어 있거나, 물보라 등의 특수한 상황으로 인하여 출력이 어려운 경우도 있다고 합니다. 또한, 제작 과정의 타임랩스풍 영상을 출력할 때,  「여기를 이 타이밍에 이렇게 재현하는 것은 있을 수 없다」 라는 씬도 포함되어 버리는 일이 있습니다.

Paints-Undo는, 「paints_undo_single_frame(싱글 프레임 모델)」과  「paints_undo_multi_frame(멀티 프레임 모델)」이라는 2개의 모델을 조합하고 있습니다.

싱글 프레임 모델은 "작품이 항상 1000회의 조작으로 완성된다"라고 가정해, 흰색 캔버스로부터 완성된 작품까지를 1000개의 스텝으로 분할하는 AI 모델입니다. 이 안에 몇 번 「Ctrl+Z(실행 취소)」를 포함하는지를 시뮬레이션한 것이 Paints-Undo의 타임랩스 무비가 됩니다. 또한, 멀티 프레임 모델이란 2장의 화상을 입력으로 받아, 그 사이의 16 프레임의 중간 화상을 출력하는 것으로, 싱글 프레임 모델로 취득한 「키 프레임」 을 보완하는 형태의 무비로서 출력하고 있습니다.

사용하고 있는 환경이나 설정에 의합니다만, 1개의 화상으로부터 25초의 무비로 변환하는 처리에, 약 5분 ~ 10분 걸린다는 것. 또한 데모는 NVIDIA 의 GeForce RTX 4090 및 GeForce RTX 3090 Ti 의 24GB VRAM에서 테스트되었으며 16GB VRAM에서도 작동할 수 있지만 8GB에서는 작동하지 않으므로 주의가 필요하다고 합니다.

Paints-UNDO에 대한 자세한 내용은 GitHub에 게시되어 있습니다.

GitHub - lllyasviel/Paints-UNDO: Understand Human Behavior to Align True Needs
https://github.com/lllyasviel/Paints-UNDO

GitHub - lllyasviel/Paints-UNDO: Understand Human Behavior to Align True Needs