「Stable Diffusion web UI(AUTOMATIC1111판)」의「Prompt matrix」및「X/Y plot」사용법 정리

 

Stable Diffusion web UI(AUTOMATIC1111판)에서 특히 이미지 생성에 도움이 되는 기능인 「Prompt matrix」와 「X/Y plot」을 실제로 사용해 보았습니다.

Stable Diffusion web UI(AUTOMATIC1111판)을 기동 하면, 왼쪽 하단에 'Script'라는 셀렉트박스가 있습니다.

스크립트의 풀다운에서 Prompt matrix 를 선택합니다.

Prompt matrix는, 이미지 생성 시 입력하는 문자열에 통상은 「,」로 키워드를 단락 짓는 부분을 「|」로 단락 짓는 것으로 총 조합해 화상을 생성할 수 있는 기능입니다. 예를 들면, 보통 'a busy city street in a modern city, illustration ,cinematic lighting' 이런 식으로 콤마를 사용하지만, Prompt matrix는 'a busy city ​​street in a modern city | illustration | cinematic lighting' 이렇게 | 를 사용하여 구분하는 것입니다.

 

보통은 프롬프트 문자열을 모두 적용한 1장의 이미지만 생성되지만, Prompt matrix는 아래와 같이 생성됩니다.

'a busy city street in a modern city | illustration | cinematic lighting'를 프롬프트에 입력하고 Generate를 클릭합니다.

그러면 다음과 같이 이미지가 생성되었습니다.

최초의 프롬프트인 「a busy city street in a modern city」를 베이스로, 「illustration」과 「cinematic lighting」의 유무에 의한 4 패턴으로 각각 이미지가 출력되고 있습니다. 'illustration'과 'cinematic lighting'이 모두 무시된 왼쪽 상단이 'a busy city street in a modern city'만 출력한 이미지로, 이에 'illustration'만 조합한 이미지가 오른쪽 상단, 'cinematic lighting'만 조합한 이미지가 왼쪽 하단, 그리고 "illustration"과 "cinematic lighting" 양쪽을 조합한 것이 오른쪽 하단이 됩니다.

 

그야말로 matrix 네요...

 

아래 이미지는 "A very beautiful girl | full body | long golden hair | sky blue eye"라는 4요소로 구성된 프롬프트를 Prompt matrix로 출력한 결과입니다.

Batch count와 Batch size를 변경해도 다음의 「X/Y plot」과는 달리 1장씩만 생성됩니다.

그런 다음 X/Y plot을 사용해 보겠습니다. 「Script」의 셀렉트박스에서 「X/Y plot」를 선택.

그러면 X Type, Y Type이라는 두 종류의 선택 항목이 출현했습니다.

각각 선택할 수 있는 것은 Seed(시드), Steps(생성 단계 수), CFG Scale (CFG스케일: 높을수록 프롬프트에 가까운 이미지를 내는 변수), Sampler(샘플러)」입니다.

이번엔 프롬프트에 "The Milkmaid, oil painting, art by Vermeer( 우유를 따르는 여자, 유화, 페르메르의 작품)"이라고 입력.

X Type에는 "Prompt S/R"을 선택하고 "Vermeer, Modigliani, Pablo Picasso(페르메르, 모딜리아니, 파블로 피카소 )"

Y Type에는 "Sampler"를 선택하고 "Euler, LMS, PLMS"로 지정하여 이미지를 생성했습니다.

생성된 이미지를 보면 이런 느낌. 열(columns)이 화가의 화풍이고, 행(rows)이 샘플러의 종류입니다. 각 화가에 의한 화풍의 차이도 알기 쉽게 나와 있습니다만, 샘플러에 의한 차이도 꽤 분명하게 알 수 있습니다. 페르메르풍과 모딜리아니풍의 경우는 구도가 거의 같습니다만, 터치에 꽤 차이가 있습니다. 또, 피카소풍의 경우는 PLMS 샘플러만 왠지 당겨진 구도가 되었습니다.

 

이번에는 X Type에 「Steps」를 선택하고 「10, 20, 30」을, Y Type에 「Seed」를 선택하여 「123, 456, 789, 123456」을 지정해, 같은 프롬프트로 출력해 보았습니다.

 

시드 수치를 바꾸는 것만으로도 전혀 다른 그림이 나왔습니다.

또, 생성 스텝수가 증가할수록, 그림의 세밀한 묘사가 증가되고 있는 인상입니다.

 

또한 이번에는 Y Type에 「CFG Scales」를 선택하고 「7, 8, 9, 10」을 지정하고, 프롬프트와 X Type은 그대로 이미지를 출력해 보았습니다. 생성 단계가 10이면 CFG 스케일을 높이면서 생성된 이미지가 '우유를 따르는 여자'에 가까워지는 것을 알 수 있습니다. 한편, 생성 스텝 수가 30이면 CFG 스케일을 올려도 출력 결과는 크게 변하지 않았습니다.

 

또, X/Y plot에서는 Batch count와 Batch size를 변경하여, 1 셀당 복수의 이미지를 생성하는 것도 가능합니다.

 

다음 이미지는 "beautiful woman with braided blond hair, red eyes, wearing a camisole, sitting on her bed, highly detailed, in the style of and ilya kuvshinov and greg rutkowski and shinkai makoto, kawaii, high quality anime artsty라는 프롬프트로 생성한 이미지로 X Type에 "Steps"를 선택하고 "40, 80"으로, Y Type에 "CHG Scale"을 선택하고 "7, 9"로 지정하여 Batch count와 Batch size 각각 "4"로 설정하였습니다.

Stable Diffusion에서 보다 이상적으로 가까운 이미지를 생성하려면 다양한 키워드를 조합하여 프롬프트로 입력하거나 단계 수나 CFG 스케일 등의 세세한 설정을 변경해야 하며 엄청난 수의 시행착오를 반복해야 합니다. 그러나 "Prompt matrix"와 "X / Y plot"을 구사하면, 여러 번 생성하지 않으면 모르는 이상적인 프롬프트와 설정을 보다 쉽게 ​​파악할 수 있으므로, 아무래도 자신이 좋아하는 이미지를 만들기 어렵다고 느끼시는 분은 꼭 사용해 보세요.

 

 

관련글

AUTOMATIC1111판 설치방법 정리

스테이블 디퓨전 결정판「Google Colab + Stable Diffusion Web UI AUTOMATIC1111판」설치 정리(GPU 불필요)

 

AUTOMATIC1111판 기본 사용법

「Stable Diffusion web UI(AUTOMATIC1111판)」의 기본적인 사용법

 

AUTOMATIC1111판  img2img 사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」img2img 사용법 정리