확산 모델을 사용하여 흑백 이미지를 컬러로 바꾸는 「 Color Diffusion」

 

흑백 이미지를 컬러화하는「 Color Diffusion」 프로젝트가 GitHub에서 공개되어 있습니다.

ErwannMillon/Color-diffusion: A diffusion model to colorize black and white images
https://github.com/ErwannMillon/Color-diffusion

GitHub - ErwannMillon/Color-diffusion: A diffusion model to colorize black and white images

Color Diffusion: Colorizing Black and White Images with Diffusion Models | by Erwann | Medium

Color Diffusion: Colorizing Black and White Images with Diffusion Models

아래는 Color Diffusion으로 흑백 이미지를 컬러로 바꾸는 예시입니다.

일반적으로 이미지 색상은 레드(R), 그린(G), 블루(B)의 "삼원색"의 조합으로 표현됩니다. Color Diffusion 모델은 이미지의 컬러 채널에 추가된 노이즈를 점진적으로 제거하는 방법을 학습합니다.

Color Diffusion은 먼저 RGB 컬러 이미지를 읽고 Lab으로 변환합니다. 그런 다음 회색조 이미지의 채널을 일정하게 유지하고 컬러 채널에만 노이즈를 추가합니다.

이 과정을 애니메이션화한 것이 아래. 

흑백 이미지의 근본적인 구조는 변경되지 않으며, 모델에 색상 정보가 추가되었음을 알 수 있습니다. 실제 추론시에는 위 애니메이션과 같이 표시되지는 않고, 결과만 취한다는 것.

Color Diffusion을 만든 기계 학습 엔지니어 에르완 밀론 씨는 "Color Diffusion의 조건부 정보는 고도로 구조화되어 있습니다. 텍스트 프롬프트와 같은 본질적으로 모호한 이미지와는 달리, 그레이 스케일 이미지에는 조명, 구도, 의미에 대한 많은 정보가 포함되어 있습니다."라고 설명하고 있습니다.

그러나 모든 그레이 스케일 이미지에 단 한 장의 "정답"만 존재하는 것은 아니며, 같은 흑백 이미지로 다양한 색상을 할당할 수 있다고 합니다.

밀론 씨는 "Color Diffusion은 Lab 이미지에 확산 모델을 적용하는 흥미로운 첫 단계로, 제 호기심을 충족시키고 확산 모델을 처음부터 훈련하는 감을 잡기 위한 간단한 개념 증명 일뿐입니다."라고 말했습니다.