영상의 디테일을 살리면서 업스케일하는 AI 「VideoGigaGAN」 을 Adobe의 연구팀이 개발
Adobe가 영상의 업스케일이 가능한 AI 「VideoGigaGAN」 을 발표했습니다. VideoGigaGAN은 기존의 영상 업스케일 AI와 비교하여 깔끔한 묘사가 가능하며, 프레임 간의 깜박임도 억제되고 있습니다.
VideoGigaGAN
https://videogigagan.github.io/
Adobe는 VideoGigaGAN의 성능을 보여주는 예로 128×128픽셀의 영상을 종횡 8배의 1024×1024픽셀로 업스케일한 데모를 공개하고 있습니다.
오리지널 영상(왼쪽)과 업 스케일 후의 영상(오른쪽)을 비교한 것이 이하. 상당히 고화질로 업스케일되고 있는 것을 알 수 있습니다.
폭포의 영상을 업스케일하면 이런 느낌. 업 스케일 후의 영상(오른쪽)은 오리지널 영상(왼쪽)과 비교해 물이나 식물이 깨끗하게 묘사되었습니다.
Adobe에 의하면, VideoGigaGAN은 기존의 영상 업 스케일 AI와 비교해 디테일의 재현성이 뛰어나고, 깜빡임도 억제할 수 있다고 합니다. Adobe는 BasicVSR(좌상), BasicVSR++(우상), TTVSR(좌하) 등 영상 업스케일 AI와 VideoGigaGAN(우하)의 처리 결과를 비교하여 VideoGigaGAN의 성능을 어필하고 있습니다.
덧붙여 VideoGigaGAN의 기술적인 상세는 아래에서 확인할 수 있습니다.
[2404.12388] VideoGigaGAN: Towards Detail-rich Video Super-Resolution
https://arxiv.org/abs/2404.12388