구글 'StyleDrop'은 문자열로 원하는 스타일의 이미지를 생성

 

배색이나 음영, 디자인 패턴 등, 유저가 제시한 스타일의 내용을 파악한 후, 그 스타일대로 이미지를 출력하는 「StyleDrop」을 Google이 개발했습니다.

 

입력된 문자열을 기반으로 이미지를 생성하는 것은 이미지 생성 AI "Stable Diffusion" 등에서도 가능하지만, 특정 스타일에 기초한 출력은 어려웠습니다. 'StyleDrop'은 이 문제점을 극복하고 있습니다.

StyleDrop: Text-to-Image Generation in Any Style
https://styledrop.github.io/

StyleDrop: Text-to-Image Generation in Any Style

[2306.00983] StyleDrop: Text-to-Image Generation in Any Style
https://doi.org/10.48550/arXiv.2306.00983

Google StyleDrop generates images from text

Google StyleDrop generates images from text

StyleDrop은 텍스트로 이미지를 생성할 수 있는 Muse를 사용하여 특정 스타일에 충실한 이미지를 생성할 수 있습니다. 그 특징은 전체 모델 파라미터의 1% 미만이라는 약간의 트레이닝 가능 파라미터를 미세 조정함으로써 새로운 스타일을 효율적으로 학습하고 피드백에 의한 반복 트레이닝으로 품질을 향상하는 것입니다. 

 

스타일의 기초가 되는 이미지는 1개 밖에 없어도 괜찮습니다. 다음은 작성 예시로 왼쪽의 오렌지 테두리 안이 스타일의 바탕이 된 이미지, 오른쪽에 늘어선 것이 그 스타일에 따라 만들어진 이미지입니다.

 

이것은 '수채화' 화풍.

 

고흐의 '별이 빛나는 밤' 화풍

고흐의 "자화상" 화풍

 

사실적인 스타일뿐만 아니라, 이런 심플한 일러스트풍도 가능.

 

목공예풍

 

이미지뿐만 아니라 특정 스타일의 문자 렌더링도 가능합니다.

 

원 일러스트에 관엽 식물이 그려져 있었기 때문에, 문자의 좌우에 관엽 식물이 놓여 있습니다.

 

무지개 색으로 물결치는 알파벳

 

3D 렌더링 스타일. 「C」에는 문 손잡이가 붙어 있습니다.

 

안드로이드맨 도안으로 여러가지 만들어 볼 수도 있습니다.

 

또한 개발자들은 "개별 아티스트의 스타일을 동의 없이 복사할 수 있다는 잠재적인 함정을 인식하고 있으며, 이 기술을 이용할 때는 책임감 있는 사용이 강력히 요구됩니다."라고 코멘트하고 있습니다.