「Stable Diffusion web UI(AUTOMATIC1111판)」img2img 기본 사용법 정리

 

이번에는 「AUTOMATIC1111판」의 「img2img」기능을 사용하는 방법을 정리해 보았습니다.

「AUTOMATIC1111판」을 설치하는 방법은 아래에 정리되어 있습니다.
스테이블 디퓨전 결정판「Google Colab + Stable Diffusion Web UI AUTOMATIC1111판」설치 정리(GPU 불필요)

스테이블 디퓨전 결정판「Google Colab + Stable Diffusion Web UI AUTOMATIC1111판」설치 정리(GPU 불필요)

 

 

◆ img2img의 기본 사용법
img2img를 사용하려면 상단의 "img2img" 탭을 클릭합니다.

왼쪽 열의 Image for img2img 필드에 이미지를 드래그 앤 드롭하거나 클릭하여 선택하여 이미지를 불러옵니다.

 

그리고 프롬프트에 문장을 입력하고 "Generate"를 클릭하면 가져온 이미지를 기반으로 새로운 이미지를 Stable Diffusion이 생성합니다. 이번에는 「a photo of girl playing piano, the most beautiful image ever seen, picture of the day, Unreal Engine, sharp」를 입력했습니다.

 

그러자 이렇게 원래 이미지와 비슷한 구도로 피아노를 연주하는 소녀의 이미지가 생성되었습니다.

 

프롬프트 입력란의 우측은, 생성한 결과로부터 「배제하고 싶은 요소」를 지정하여 입력하는 「Negative Prompt」 입력란입니다. 예를 들어, "Child(아이)"를 입력하여 재생성하면 다음과 같이 피아노 연주자가 성인 여성으로 바뀌었습니다.

 

◆ 리사이즈 기능
img2img로 생성되는 이미지는 사이즈뿐만 아니라 가로세로 비율도 변경 가능합니다.

(디폴트는 가로세로 1:1로 512 x 512 픽셀입니다.)

GitHub - AUTOMATIC1111/stable-diffusion-webui-feature-showcase: Feature showcase for stable-diffusion-webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui-feature-showcase#resizing

 

예를 들면, 다음과 같이 「입력으로 사용한 이미지의 가로세로 비는 16:9이고, 생성할 이미지의 가로세로 비는 1:1」인 경우, 입력한 이미지의 구도가 크게 바뀌어 버리게 됩니다. 이런 경우, 아래처럼 사이즈 조절을 지정할 수 있습니다.

 

기본 설정인 "Just resize"는 화면비를 무시하고 그대로 이미지를 생성합니다. 입력 이미지가 16:9이고 출력 이미지가 1:1인 경우 아래와 같이 좌우에서 조금 눌려진 구도가 됩니다.

 

「Crop and resize」는 입력 화상의 종횡비를 유지한 채로 화상을 생성해, 출력 화상의 종횡비에 맞추어 자동으로 잘라내는 모드. 예를 들어, 아래의 입력 이미지에서는 요리의 좌우에 여백이 있지만, 생성된 출력 이미지는 좌우가 컷 되어 화면 가득 요리가 찍혀 있습니다.

 

"Resize and fill"은 입력 화상의 종횡비를 유지한 채로 화상을 생성하고 출력 화상의 종횡비에 의해 태어난 여백을 자동으로 생성하여 채우는 모드입니다.

 

◆ Inpainting 기능
Stable Diffusion에서 생성한 이미지를 보다 보면, 「이것만 없으면 딱인데...」,「이 부분만 개선되면 좋을텐데...」라고 느끼는 경우가 많습니다. Inpainting 기능을 사용하면 이미지의 모든 부분을 지정하여 편집할 수 있습니다.

GitHub - AUTOMATIC1111/stable-diffusion-webui-feature-showcase: Feature showcase for stable-diffusion-webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui-feature-showcase#inpainting

 

Inpainting 기능을 사용하려면 이미지를 로드한 후 Inpaint a part of image를 선택합니다.

그 다음엔 입력 이미지의 특정 영역을 드래그하여 마스킹을 적용합니다.

 

Inpainting의 처리는 「full」,「original」,「latent noize」,「latent original」의 4종류가 준비되어 있습니다. 처리 방법을 선택하고 Denoising strength를 조정하고 Generate를 클릭합니다. Denoising strength는 Stable Diffusion의 기계 학습 알고리즘에 있어서의 노이즈 제거의 강도를 나타내는 것으로, 어느 정도의 조정이 필요합니다. 이번에는 Denoising strength를 0.2로 설정했습니다.

아래는 「fill」로 처리한 이미지로, 마스킹으로 선택한 머리 부분이 배경에 맞게 채워져 있습니다.

 

「Original」은 마스크로 선택한 영역의 원화에 근거해 수정하는 것.

 

"latent noize"는 마스크 부분을 노이즈로 채워 버리는 것. 땋은 머리가 주변과는 완전히 다른 색과 패턴으로 대체됩니다.

「latent nothing」은 nothing(무)으로 대체하는 것. 처리는 다르지만, 결과적으로는 "fill"과 비슷하게 마스킹 부분이 단색으로 채워집니다.

 

◆ Loopback 기능
img2img는 「입력한 이미지와 프롬프트를 기초로 새로운 이미지를 생성한다」라는 것입니다. 그래서 "img2img로 출력한 이미지를 img2img의 새로운 입력 이미지로 하여 같은 프롬프트로 추가 이미지를 생성한다"는 것입니다. 이렇게 출력 이미지를 img2img에 여러 번 피드백시켜 이미지를 생성하는 기능이 "루프백"입니다.

GitHub - AUTOMATIC1111/stable-diffusion-webui-feature-showcase: Feature showcase for stable-diffusion-webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui-feature-showcase#loopback

Loopback은 'img2img' 상단의 'Loopback'을 체크할 수 있습니다. 이미지와 프롬프트를 입력한 후 Batch size에서 루프 횟수를 결정하고 Generate를 클릭합니다.

 

명령 프롬프트를 보면 이미지 생성이 5회 진행됩니다.

 

생성 결과입니다. 입력 이미지로부터 5회의 Loopback 생성을 실시한 것으로, 조금씩 변화하고 있는 것이 보입니다.

 

◆ SD Upscale
저해상도로 사이즈가 작은 이미지의 경우, 억지로 사이즈를 늘려도 해상도가 변하지 않으면 거칠어지기 때문에, 알고리즘 등을 이용해 화상 처리 시에 보간(interpolation)을 실시한 업스케일이 필요합니다.

 

이 SD Upscale은 Lanczos 나 Real ESRGAN/ESRGAN과 같은 알고리즘을 사용하여 이미지를 여러 장 업스케일링하고, 그 이미지를 겹쳐서 1장의 확대 이미지를 생성하는 방식입니다.

그러면 SD Upscale을 클릭하고 Upscaler에서 알고리즘을 선택하여 Generate를 클릭합니다.

 

이번에 256 × 256픽셀의 이미지를 읽어 512 × 512픽셀로 확대해 주었습니다. 아래는 원래의 이미지를 512 × 512 픽셀로 단순 확대한 것(왼쪽)과 각 알고리즘에 의해 업 스케일링한 것(오른쪽)을 비교한 것으로, 각각 화상을 9장 겹쳐서 스케일링하는 설정이므로, 일반적인 화상 편집 소프트에 의한 스케일링과는 달리, 그림의 터치나 세세한 부분에 큰 변화가 나타나고 있습니다.

Lanczos는 표준적인 이미지 확대축소 알고리즘으로 얼굴이 조금 매끈해지긴 하지만, 기본적으로 오리지널에 대한 충실도는 높다고 할 수 있습니다.

256 x 256	512 x 512

 

Real ESRGAN 2x Plus는 색조가 약간 따뜻한 색이 되어, 머리카락이나 옷 주름 등의 세세한 부분이 조금 흐릿해져 부드러운 인상이 되었습니다.

256 x 256	512 x 512

Real ESRGAN 4x Anime 6B는 애니메이션에 특화된 알고리즘인가, 전체적으로 균일한 칠이 되어, 그러데이션보다 색을 뚜렷하게 나누고 있도록 수정되고 있는 인상. 또, 수정 후의 얼굴도 조금 애니메이션에 나오는 캐릭터와 같은 분위기가 있습니다.

256 x 256	512 x 512

Real ESRGAN 4x는 부드럽고 퍼지(fuzzy:흐릿)한 수정을 하고 있으며, 특히 소녀의 피부 터치를 보면 잘 알 수 있습니다. 그러나 너무 퍼지 한 탓인지, 앞머리와 콧등이 살짝 융합되었습니다...;;;

256 x 256	512 x 512

 

관련 글

AUTOMATIC1111판 설치방법 정리

스테이블 디퓨전 결정판「Google Colab + Stable Diffusion Web UI AUTOMATIC1111판」설치 정리(GPU 불필요)

 

AUTOMATIC1111판 기본 사용법

「Stable Diffusion web UI(AUTOMATIC1111판)」의 기본적인 사용법

 

AUTOMATIC1111판 「Prompt matrix」및「X/Y plot」사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」의「Prompt matrix」및「X/Y plot」사용법 정리

 

AUTOMATIC1111판 img2img의 Script 사용법 정리

「Stable Diffusion web UI(AUTOMATIC1111판)」img2img의 Script 사용법 정리