여러 장의 실패 샷에서 베스트 샷을 생성할 수 있는 AI 「RealFill」

 
 
사진을 촬영하다 보면 「사진 A는 인물의 얼굴이 잘 안 찍혀 맘에 안 들고, 사진 B는 얼굴은 잘 찍혔지만 역광이다」처럼 베스트 샷에 조금 아쉬운 경우가 종종 있습니다. Google과 코넬 대학의 연구팀이 개발한 AI 「 RealFill 」을 사용하면 여러 실패 사진을 바탕으로 베스트 샷을 나중에 만들 수 있습니다.

RealFill
https://realfill.github.io/

RealFill: Reference-Driven Generation for Authentic Image Completion

RealFill에 의한 처리 예는 이렇습니다.

아래 이미지의 왼쪽이 처리에 사용된 참고 이미지이고 오른쪽이 참조 이미지를 바탕으로 생성된 베스트 샷입니다. 참고 이미지에는 전신 및 배경이 찍힌 사진이 포함되어 있어, 각각의 요소를 바탕으로 베스트 샷이 생성되고 있습니다.

아래의 예에서는, 참고 이미지에 「역광은 아니지만 잘린 사진」, 「전체를 찍었으나 역광 사진」이 포함되어 있고, 참고 이미지를 기초로 완성샷이 생성되고 있습니다.

아래는 왼쪽부터 순서대로
Reference Images - 참고 이미지,
Ground-Truth - 실사의 정답 이미지,
RealFill(Ours) - RealFill로 생성한 이미지,
Paint by Example 로 생성한 이미지,
Stable Diffusion의 인페인팅 기능으로 이미지를 확장한 것

투명한 흰색 마스크는 대상 이미지의 변경되지 않은 알려진 영역에 오버레이 됩니다.

Paint-by-Example은 높은 수준의 의미 정보만 캡처하는 CLIP 임베딩에 의존하기 때문에 높은 장면 충실도를 달성하지 못합니다. Stable Diffusion Inpainting은 그럴듯한 결과를 생성하지만 프롬프트의 표현력이 제한되어 있기 때문에 참조 이미지와 일치하지 않습니다.

덧붙여, RealFill에는 「손이 실제보다 짧아진다는 등 3차원적으로 올바르지 않은 화상 생성」, 「잘못된 텍스트 생성」등의 문제가 존재합니다.