![](https://blog.kakaocdn.net/dn/c4JK6l/btswbeNN865/LDxZhiK0NNS6POJFMsiks1/img.jpg)
사진을 촬영하다 보면 「사진 A는 인물의 얼굴이 잘 안 찍혀 맘에 안 들고, 사진 B는 얼굴은 잘 찍혔지만 역광이다」처럼 베스트 샷에 조금 아쉬운 경우가 종종 있습니다. Google과 코넬 대학의 연구팀이 개발한 AI 「 RealFill 」을 사용하면 여러 실패 사진을 바탕으로 베스트 샷을 나중에 만들 수 있습니다.
RealFill
https://realfill.github.io/
RealFill: Reference-Driven Generation for Authentic Image Completion
RealFill: Reference-Driven Generation for Authentic Image Completion
realfill.github.io
RealFill에 의한 처리 예는 이렇습니다.
아래 이미지의 왼쪽이 처리에 사용된 참고 이미지이고 오른쪽이 참조 이미지를 바탕으로 생성된 베스트 샷입니다. 참고 이미지에는 전신 및 배경이 찍힌 사진이 포함되어 있어, 각각의 요소를 바탕으로 베스트 샷이 생성되고 있습니다.
![](https://blog.kakaocdn.net/dn/5tepU/btsv8OPEknA/0pRtDu6L09ToBaJQ4ThkMK/img.jpg)
아래의 예에서는, 참고 이미지에 「역광은 아니지만 잘린 사진」, 「전체를 찍었으나 역광 사진」이 포함되어 있고, 참고 이미지를 기초로 완성샷이 생성되고 있습니다.
![](https://blog.kakaocdn.net/dn/byOJVL/btsv8PgJrpi/9D4A1Dd8UWblIPkPgvGXb1/img.jpg)
아래는 왼쪽부터 순서대로
Reference Images - 참고 이미지,
Ground-Truth - 실사의 정답 이미지,
RealFill(Ours) - RealFill로 생성한 이미지,
Paint by Example 로 생성한 이미지,
Stable Diffusion의 인페인팅 기능으로 이미지를 확장한 것
투명한 흰색 마스크는 대상 이미지의 변경되지 않은 알려진 영역에 오버레이 됩니다.
Paint-by-Example은 높은 수준의 의미 정보만 캡처하는 CLIP 임베딩에 의존하기 때문에 높은 장면 충실도를 달성하지 못합니다. Stable Diffusion Inpainting은 그럴듯한 결과를 생성하지만 프롬프트의 표현력이 제한되어 있기 때문에 참조 이미지와 일치하지 않습니다.
![](https://blog.kakaocdn.net/dn/bMJ7gb/btsv7Tw5Fu1/fsLSxccqnOcGYImI1M2Wr0/img.jpg)
덧붙여, RealFill에는 「손이 실제보다 짧아진다는 등 3차원적으로 올바르지 않은 화상 생성」, 「잘못된 텍스트 생성」등의 문제가 존재합니다.
![](https://blog.kakaocdn.net/dn/bRarzO/btsv91gUfi8/JsoyQesCt8IWUXWWtAia1K/img.jpg)
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
프롬프트의 글꼴, 색상, 스타일, 각주를 수정하여 이미지를 조정하는 기술이 등장 (0) | 2023.10.07 |
---|---|
Getty Images가 상용 AI 이미지 생성 도구를 공개 (0) | 2023.10.06 |
Adobe Photoshop Web 공식 버전 릴리즈, Web브라우저에서 이미지 생성 가능 (0) | 2023.10.06 |
방의 사진과 프롬프트로 원하는 가구를 생성해주는 「Fill 3D」가 등장 (0) | 2023.10.04 |
AI 생성 추상화 등 3만 장을 무료로 공개한 dasyn (0) | 2023.09.25 |
ChatGPT에 통합되어 채팅하며 이미지를 생성할 수 있는 AI「DALL-E 3」를 OpenAI가 발표 (1) | 2023.09.22 |
Stable Diffusion AUTOMATIC 1111의 Colab에서 모델을 사용하는 방법 (0) | 2023.09.14 |
[2023년판] Stable Diffusion WebUI로 AI 미소녀 만드는 법「ChilloutMix」 (0) | 2023.09.12 |