「Stable Diffusion web UI(AUTOMATIC1111판)」img2img의 Script 사용법 정리

이번에는 「AUTOMATIC1111판」에서「img2img」기능 중 나머지 Script부분을 살펴보겠습니다.


관련 글 : 「Stable Diffusion web UI(AUTOMATIC1111판)」img2img의 기본 사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」img2img 사용법 정리

◆ 아웃 페인팅
아웃 페인팅이란, 자연 언어에 의한 설명문을 더하는 것으로, 같은 스타일의 비주얼 요소를 추가하거나, 새로운 방향으로 스토리를 전개하는 등, 본래 이미지의 테두리를 벗어난 부분을 그려서 더하는 작업입니다. 인공지능 연구단체 OpenAI 가 개발하는「DALL-E2」에도 아웃페인팅이 탑재되어 있습니다.

AUTOMATIC1111 버전 Stable Diffusion web UI를 시작하고 UI에 액세스 하면 "img2img"의 탭을 클릭하십시오.

아웃 페인팅하려는 이미지를 'Image to img2img' 입력란에 직접 드래그 앤 드롭하거나 'Image to img2img' 입력란을 클릭하여 선택합니다.

또한 이 Stable Diffusion으로 만든 이미지를 사용할 경우,
프롬프트, Sampling Steps, Sampling method, CFG Scale, Seed 등을 생성 시와 동일 조건으로 하면 성공률이 높아지므로 생성 시와 같도록 설정합니다.

설정을 모르는 경우 PNG info에서 확인하십시오.

그리고, 설정란의 맨 아래에 있는「Script」의 셀렉트박스에서「Poor man's outpainting」을 선택하고「Generate」를 클릭합니다.

그 아래에 있는 설정란의 의미는 다음과 같습니다.
· Pixels to expand : 이미지의 확장량(픽셀 단위). 이번엔 40픽셀로 설정.
· Mask Blur：원 이미지와 확장 부분의 경계를 얼마나 흐리게 할지 결정합니다. 숫자가 높으면 테두리가 더 모호해집니다. 이번엔 4로 설정.
· Masked content : 확장한 부분을 채우는 방법. fill, original, latent noize, latent nothing의 4 종류가 있습니다.
· Outpainting Direction : 이미지를 확장할 방향을 선택합니다.

원래 이미지가 이것.

그리고 "fill"로 아웃 페인팅하면 이런 느낌의 이미지가 출력되었습니다. 왼팔이 잘려 보여서 다소 어색하지만, 원본 이미지에서는 끊어진 머리 정수리 부위와 엉덩이 아랫부분이 자연스럽게 그려져 있습니다.

"Original"로 아웃 페인팅하면 확장된 부분은 검은색으로 칠해집니다.

"latent noize"는 왼발과 왼손 끝이 생성되었습니다. 또, 색조는 조금 다릅니다만, 안쪽에 있는 창틀도 더해지고 있습니다.

"latent nothing"은 "latent noize"와 거의 같은 내용. 다만, 소녀가 앉아 있는 장소가 부드러운 곡선이 되어 있거나, 왼손의 팔찌가 없어지는 등 세세한 곳이 다릅니다.

◆ Batch processing
Batch processing에서는 입력 이미지를 여러 개 로드할 수 있습니다. [Input directory]에 입력하고 싶은 이미지를 포함한 폴더의 경로를, [Output directory]에 이미지를 출력할 폴더의 패스를 입력하여 지정합니다.

명령 프롬프트를 보면 입력 디렉토리에 있는 두 개의 이미지에서 img2img가 수행되었습니다. img2img에 입력하고 싶은 이미지가 복수인 경우, Batch processing을 사용하면, 그때마다「Image to img2img」로 이미지를 다시 선택할 필요가 없어집니다. 그러나 Batch processing에서는 생성 시 적용되는 설정이 모든 이미지에 공통입니다.

◆ img2img alternative test
img2img는 추가로 이미지를 입력함으로써 Stable Diffusion에서 이미지 생성 중에 수행되는 노이즈 제거 프로세스의 방향성을 굳혀 생성되는 이미지의 변화폭을 좁힐 수 있습니다. 그럼에도 불구하고 노이즈 강도에 따라 원래 이미지에서 동떨어진 이미지가 생성될 수 있습니다. 그래서 원본 이미지에 가까운 결과를 출력하는 방법이 Reddit에 제안되어 이것을 참고로 도입된 것이 "img2img alternative test"입니다.

A better (?) way of doing img2img by finding the noise which reconstructs the original image : StableDiffusion

A better (?) way of doing img2img by finding the noise which reconstructs the original image

img2img로 이미지를 읽은 상태에서, "Script"의 "img2img alternative test"를 선택. 그 아래의 "Original Prompt"에 입력한 이미지를 생성했을 때의 프롬프트를 입력합니다.

프롬프트를 모르거나 AI로 생성한 이미지가 아니라면 "CLIP Interrogator"라는 기능을 사용하여 프롬프트를 분석할 수도 있습니다.(이 부분은 다음에 별도로 다루겠습니다.)

이제 위에 있는 프롬프트 입력란에 키워드를 넣고 'Generate'를 클릭합니다. 이번에는「red hair」라고 입력했더니, 머리카락의 새빨간 여자의 이미지가 나왔습니다.

여성이 보다 리얼하게 되어 포즈는 바뀌고 있습니다만, 헤어스타일이나 얼굴의 메이크, 입고 있는 복장, 배경의 분위기는 원본을 제대로 답습하고 있습니다.
이것이 img2img alternative test의 기능입니다.(생각보다 잘 안되네요 ㅋㅋ)

◆ Prompts matrix와 X/Y plot
AUTOMATIC1111판은「Prompt from file」,「Prompt matrix」,「X/Y plot」을 사용할 수 있습니다.

이러한 기능은 문자열에서 이미지를 생성하는 "txt2img"에서도 사용할 수 있습니다. 「Prompt matrix」,「X/Y plot」에 대해서는, 아래에서 상세하게 해설하고 있습니다. 또한 "Prompt from file"은 프롬프트를 문자열 입력이 아닌 CSV 파일 읽기로 수행하는 모드입니다.

AUTOMATIC1111판 「Prompt matrix」및「X/Y plot」사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」의「Prompt matrix」및「X/Y plot」사용법 정리

「Prompt matrix」는, 프롬프트에서 복수의 요소를 「,」으로 구분하던 것을, 「|」로 대체하여 각 요소의 유무로 조합을 실시해, 그 전체 패턴을 한 번에 출력합니다. "Script"에서 "Prompt matrix"를 선택하고 "Put variable parts at start of prompt"를 체크하여 "Generate"를 클릭합니다.

출력한 결과는 이런 느낌. 원래 이미지에서 상당히 멀어져 버렸지만, 각 조건에 따라 헤어 스타일과 옷의 디자인, 포즈가 달라졌습니다.

그리고, 「X/Y plot」은 설정한 2 요소로 복수 패턴을 준비해, 그 조합이 되는 화상 모두를 생성하는 모드입니다. 이번에는 X type으로 「Seeds(시드치)」에 1645・94672・5463을, Y type으로 「Denoising(노이즈 제거 강도)」에 0.2・0.6・1.0을 할당해 보았습니다.

생성된 이미지의 매트릭스는 이런 느낌. 배치 크기는 2이므로 하나의 조합마다 2장씩 생성됩니다. 노이즈 제거 강도 0.2에서는 시드 값이 달라도 거의 원래 이미지와 같은 것이 생성되었습니다. 그러나 노이즈 제거 강도를 0.6으로 올리면 구도와 포즈는 동일하지만 터치는 상당히 바뀐다는 것을 알 수 있습니다. 그리고, 노이즈 제거 강도 1.0이 되면, 원화상으로부터 완전히 멀어져 평면적인 일러스트로 변화합니다. 실제로 X/Yplot을 사용하여 비교함으로써 노이즈 제거 강도의 중요성을 잘 알았습니다.

 

아직도 남아있는 많은 기능들은 다음에 계속... 

 

관련 글

AUTOMATIC1111판 설치방법 정리

스테이블 디퓨전 결정판「Google Colab + Stable Diffusion Web UI AUTOMATIC1111판」설치 정리(GPU 불필요)

 

AUTOMATIC1111판 기본 사용법

「Stable Diffusion web UI(AUTOMATIC1111판)」의 기본적인 사용법

 

AUTOMATIC1111판 「Prompt matrix」및「X/Y plot」사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」의「Prompt matrix」및「X/Y plot」사용법 정리

 

AUTOMATIC1111판 img2img기능 사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」img2img 기본 사용법 정리