본문 바로가기
AI · 인공지능/이미지 생성 AI

「Stable Diffusion」으로 일러스트의 퀄리티와 다양성을 극적으로 개선하는「Advanced Prompt Tuning(APT)」

by 두우우부 2022. 11. 26.
반응형


1장의 일러스트를 추가 학습하는 것 만으로, 일러스트의 화풍을 모방해 고품질의 다양한 구도로 이미지를 생성할 수 있는 기법 「Advanced Prompt Tuning(APT)」이 개발되었습니다.

GitHub - 7eu7d7/DreamArtist-stable-diffusion: stable diffusion webui with advance prompt tuning

 

GitHub - 7eu7d7/DreamArtist-stable-diffusion: stable diffusion webui with contrastive prompt tuning

stable diffusion webui with contrastive prompt tuning - GitHub - 7eu7d7/DreamArtist-stable-diffusion: stable diffusion webui with contrastive prompt tuning

github.com

 

propose an advanced Prompt Tuning method (APT), can super dramatically improve theimage diversity by 7eu7d7 · Pull Request #2945 · AUTOMATIC1111/stable-diffusion-webui · GitHub

 

propose an Contrastive Prompt Tuning method (DreamArtist), can super dramatically improve the image quality and diversity by 7eu

Propose a better method of prompt tuning (train embedding), which can super dramatically improve the image quality compared to the current embedding training method. Excellent performance can be ac...

github.com


APT를 개발한 것은 7eu7d7 씨로, 그가 공개하고 있는 예는 이런 느낌입니다. 우선, 다음의 1장의 이미지를 학습 원본으로 합니다.


기존의 Stable Diffusion에 위의 이미지를 학습시켜 생성한 이미지가 아래입니다. 복수의 이미지를 생성해도 유사한 구도의 이미지 밖에 생성할 수 없고, 그 중에는 뭔지 모를 망작도 생성되고 있습니다.


그리고, APT를 이용하여 생성한 이미지가 아래입니다. 기존의 Stable Diffusion에서 생성한 이미지에 비해 압도적으로 고품이며, 구도나 포즈도 다양하게 분포된 것을 알 수 있습니다.


또한, 상세한 프롬프트를 더 추가하여 생성한 이미지가 아래입니다. 손과 다리가 자연스러운 형상으로 그려져 있으며, AI가 생성했다고는 눈치채지 못할 정도의 퀄리티를 자랑하고 있습니다.


7eu7d7씨는 APT를 오픈 소스로 개발하고 있어, APT를 Stable Diffusion의 고기능 UI 「Stable Diffusion web UI(AUTOMATIC1111판)」의 확장 기능으로 사용할 수 있도록 하기 위한 개발이 진행되고 있다고 합니다.

덧붙여 7eu7d7씨는 AI를 이용해 pixiv의 이미지를 수집하는 앱 등도 개발하고 있습니다.

반응형