이미지 생성 AI 「Stable Diffusion」은 문장을 입력하는 것만으로 이미지를 출력해 주는 AI입니다. 그런 Stable Diffusion에는 문장과 함께 「베이스가 되는 이미지」를 입력하는 것으로 출력 이미지의 정밀도를 향상할 수 있는 모드 「img2img」가 존재합니다. 이 img2img를 구사하여 간단한 러프 이미지로부터 고품질의 일러스트를 생성하는 절차에 대해 소프트웨어 엔지니어 겸 포토그래퍼인 앤디 살레르노씨가 설명합니다.
4.2 Gigabytes, or: How to Draw Anything
https://andys.page/posts/how-to-draw/
Stable Diffusion에「숲에서 노는 곰」이라는 지시를 주었을 경우, 구도가 좀 다르다거나 여름 숲을 상상했는데 겨울 숲이 나오는 등 상상과 동떨어진 이미지가 출력되는 경우가 많습니다. 출력 이미지를 원하는 대로 하려면 지시를 세세하게 내리면 됩니다만, 지시할 상대는 인간이 아니라 AI이므로, AI용으로 최적화된 지시를 내릴 필요가 있습니다. Stable Diffusion에는「img2img」라고 불리는 기능이 탑재되어 있어, 참고 이미지를 부여하는 것으로 어느 정도 대략적인 지시에서도 목적한 이미지를 생성시키는 것이 가능합니다.
살레르노 씨는 Stable Diffusion의 "img2img"를 사용하여 간단한 러프로부터 아래와 같이 "폐허로 된 시애틀의 상공을 우주선이 비행하는 일러스트"를 만드는 절차를 설명하고 있습니다.
우선 배경을 그립니다.
또한 전경, 지면, 시내 풍경, 산의 러프한 이미지를 작성합니다.
러프 이미지를 참고 이미지로 지정하여 Stable Diffusion에 「the Seattle city skyline. Vibrant fall trees in the foreground. Space Needle visible. Mount Rainier in background. Highly detailed」의 영문장을 지정한 이미지가 아래입니다. 이 단계에서는 나무와 거리 풍경이 서툴게 그려져 있습니다. 또한, 참고 이미지로부터 변화량을 지정할 수 있는 「strength」 값은 0.8로 설정되어 있습니다.
위의 이미지를 참고 이미지로 다시 지정하고 「Digital Matte painting. Hyper detailed. at sunset. High quality digital art. Hyper realistic」라는 지시를 주어 출력시킨 이미지가 아래입니다. 전경의 나무들이 없어져 폐허가 된 시애틀의 거리가 그려져 있습니다.
그런 다음 하늘에 떠있는 우주선의 러프화를 그립니다.
이를 참고 이미지로 지정해 「Digital fantasy science fiction painting of a Star Wars Imperial Class Star Destroyer. Highly detailed, white background」라는 지시를 「strength」 0.8로 준 결과가 아래입니다. 스타 디스트로이어 같은 분위기를 담은 우주선이 출력되었습니다.
출력한 우주선의 이미지를 시애틀의 이미지 위에 직접 배치한 것이 아래입니다. 우주선만 화풍이 다르기 때문에 분위기가 망가지고 있습니다.
그래서 살레르노 씨는 "시애틀의 이미지"와 "우주선의 이미지"의 분위기가 일치하도록 양쪽의 출력을 바꿨습니다. 여러 번의 시도 후에 얻은 "딱 좋은 분위기의 이미지"를 겹친 것이 아래.
이어 다음과 같은 새의 러프화를 그려...
새 러프를 참고 이미지로 지정하여 「Digital Matte painting. Hyper detailed. Brds fly into the horizon. Golden hour, dusk. Beautiful sky at sunset. High quality digital art. Hyper realistic」 라는 지시를 「strength」 0.75로 줘서 아래의 이미지를 생성했습니다.
새의 이미지를 겹친 이미지가 아래입니다. 제법 원하던 이미지에 근접합니다.
마지막으로, 전체를 익숙하게하기 위해 위의 이미지를 참고 이미지로 지정해 「Digital Matte painting. apocalyptic, crumbling buildings. Science fiction. Seattle skyline. Star Wars Imperial Star Destroyer hovers. Birds fly in the distance. Golden hour, dusk. Beautiful sky at sunset. High quality digital art. Hyper realistic」라는 지시를 「strength」 0.2로 실행한 결과가 아래입니다. 황폐한 도시의 상공을 우주선이 날아가는 고품질의 일러스트가 완성되었습니다.
덧붙여 Stable Diffusion에 지시하는 문장에 대해서 「실제 아티스트의 이름을 추가하면 고품질의 이미지를 얻을 수 있다」라고 하는 테크닉이 퍼지고 있습니다만, 살레르노 씨는 「아티스트명을 웹에서 검색했을 때, 검색 결과에 AI가 만든 이미지가 표시되는 것은 바람직하지 않다」라는 이유로 아티스트명을 이용하지 않고 이미지 생성을 실시하고 있다고 합니다.
