직접 그린 그림과 같은 구도로 이미지를 생성하는「Scribble Diffusion」이 등장

 
텍스트 만으로 자신이 원하는 그림을 생성하는 것은 꽤 어려운 것입니다. "Scribble Diffusion"은 직접 그린 낙서와 텍스트 입력으로부터 원하는 것에 가까운 그림을 Stable Diffusion으로 생성하는 것이 가능하고, Demo를 브라우저에서 시험할 수 있습니다.

Scribble Diffusion
https://scribblediffusion.com/

Scribble Diffusion

이 Scribble Diffusion은 프롬프트로 이미지의 구도나 심도 정보 등을 추가로 제공하기 위한 신경망「ControlNet」을 응용하고 있습니다.

Scribble Diffusion의 데모 페이지에 접속하면 이런 느낌. 사각형의 캔버스에 그림을 그리고, 그 아래에 프롬프트를 입력하고 'Go'버튼을 클릭합니다.

아래의 예는 디폴트로 입력되어 있던 것으로, 산의 능선 사이로 태양을 엿볼 수 있는 일러스트와 텍스트였습니다만, 그 완성도는 아직 높지 않아서「산 사이로 보이는 태양」 은 제대로 그려져 있지 않았습니다.

그럼, 일러스트를 좀 더 세밀하게 그리면 어떨까 하고 그린 것이 이하. 텍스트는 심플하게「기타를 연주하고 있는 고양이」로, 일러스트도 그대로 그렸습니다.

생성된 이미지는 다음과 같습니다. 표정이 좀 험상궃긴 하지만, 구도 그대로의 그림이 나와서 기대에 가까운 그림을 출력해 주었습니다.

이번에는 "솔트배(Salt Bae : 소금 뿌리는 밈을 가진 터키 요리사)처럼 케이크에 설탕을 뿌리는 일론 머스크"

결과는 이런 느낌. 일론 머스크의 재현성은 매우 높지만, 케이크는 묘하게 나왔습니다.

그래서 오른손과 케이크 부분을 조금 더 수정하고, 동일한 텍스트로 출력해 보았습니다. 그러자, 제대로 케이크다운 것에 설탕을 뿌리는 일론 머스크의 그림을 출력할 수 있었습니다.

덧붙여, Scribble Diffusion의 코드는 GitHub로 공개되어 있어, 자신의 서버에 구축하는 것이 가능합니다.

GitHub - replicate/scribble-diffusion: Turn your rough sketch into a refined image using AI
https://github.com/replicate/scribble-diffusion

GitHub - replicate/scribble-diffusion: Turn your rough sketch into a refined image using AI