AI로 이미지를 움직여 수정하는 툴 「DragGAN」의 소스 코드＆데모 공개

 

AI를 사용하여 이미지를 생성할 때 "조금만 건드려서 수정하고 싶다"라고 생각해 보신 분들이 많을 것입니다. 그런 사람들의 꿈을 이루는 도구가 "DragGAN"입니다.

DragGAN은 이미지 속에서 움직이고 싶은 포인트를 지시하는 것만으로 AI가 자동으로 수정해 준다는 것으로, 2023년 5월에 논문만 제출되었습니다만, 2023년 6월 22일에 소스코드가 공개되었고 데모도 등장하였습니다.

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
https://vcai.mpi-inf.mpg.de/projects/DragGAN/

프로젝트 페이지에서는 무엇을 할 수 있는지 소개하는 영상이 다수 게재되어 있습니다. 예를 들어 아래 그림과 같이 강아지의 코 위에 빨간 점을 올리고 움직이고 싶은 장소에 파란색 점을 설정합니다.

그러면 AI가 빨간 점 위치에 있던 물체를 파란색 점 위치로 오도록 이미지를 수정해 줍니다.

이것은 사자의 입을 벌리는 예.

백수의 왕이라도 손가락 하나로 맘대로 조정할 수 있습니다.

고양이를 윙크시키는 것도 식은 죽 먹기

차량을 다시 주차시켜 각도도 바로잡고

셔츠 소매나 바지 옷자락의 길이도 자유자재입니다. 자세도 수정할 수 있습니다.

야산의 정상을 늘려 갑자기 거대 봉우리를 만드는 것도, 점만 찍어서 쉽게 조작이 가능합니다.

그래서 실제로 데모를 사용해 보았습니다. 데모는 Hugging Face의 Spaces에 설치되어 있지만 인기가 높기 때문에 오류가 자주 발생합니다.

여러 번, 새로고침 후 연결할 수 있었습니다.

현재는 데모판에서 자신의 이미지를 편집할 수 없으며, AI가 생성하는 이미지의 수정만이 가능합니다. 생성에 이용할 모델은 차나 말, 고양이, 사자 등이 준비되어 있습니다.

모델과 시드 값을 설정하면 이미지가 생성되므로 "Add Points"를 클릭하고 "빨간 점 위치"→ "파란 점 위치"로 차례로 클릭합니다. 더 클릭하면 다시 붉은 점→파란 점으로 교체됩니다. 바꾸고 싶은 장소에 점을 다 찍었으면 「Start」를 클릭. 이번에는 「머리의 위치를 위 방향으로 이동」, 「앞다리를 앞으로 이동」이라는 2개의 편집을 실행해 보았습니다.

잠시 기다리자 아래 이미지가 생성되었습니다. 머리의 위치를 올리는 부분은 그럭저럭 성공하고 있습니다만, 다리를 앞으로 내미는 것은 별 차이를 모르겠습니다.

덧붙여 이번에 공개된 코드로 생성하는 이미지에는 「AI Generated」의 워터마크를 넣어야 하며, 라이선스는 DragGAN 관련 부분은 「CC BY-NC 4.0」,
그 이외의 대부분의 코드는「NVIDIA Source Code License for StyleGAN3」로 되어 있어, 모두 상용 이용은 불가하다는 점에 주의가 필요합니다.


드래그 GAN의 소스코드는 GitHub에 공개되어 있습니다.
GitHub - XingangPan/DragGAN: Official Code for DragGAN (SIGGRAPH 2023)
https://github.com/XingangPan/DragGAN

GitHub - XingangPan/DragGAN: Official Code for DragGAN (SIGGRAPH 2023)