본문 바로가기
AI · 인공지능/AI 뉴스

영상의 디테일을 살리면서 업스케일하는 AI 「VideoGigaGAN」 을 Adobe의 연구팀이 개발

by 두우우부 2024. 4. 26.
반응형

Adobe가 영상의 업스케일이 가능한 AI  「VideoGigaGAN」 을 발표했습니다. VideoGigaGAN은 기존의 영상 업스케일 AI와 비교하여 깔끔한 묘사가 가능하며, 프레임 간의 깜박임도 억제되고 있습니다.

VideoGigaGAN
https://videogigagan.github.io/

VideoGigaGAN

Video super-resolution (VSR) approaches have shown impressive temporal consistency in upsampled videos. However, these approaches tend to generate blurrier results than their image counterparts as they are limited in their generative capability. This raise

videogigagan.github.io


Adobe는 VideoGigaGAN의 성능을 보여주는 예로 128×128픽셀의 영상을 종횡 8배의 1024×1024픽셀로 업스케일한 데모를 공개하고 있습니다.



오리지널 영상(왼쪽)과 업 스케일 후의 영상(오른쪽)을 비교한 것이 이하. 상당히 고화질로 업스케일되고 있는 것을 알 수 있습니다.



폭포의 영상을 업스케일하면 이런 느낌. 업 스케일 후의 영상(오른쪽)은 오리지널 영상(왼쪽)과 비교해 물이나 식물이 깨끗하게 묘사되었습니다.



Adobe에 의하면, VideoGigaGAN은 기존의 영상 업 스케일 AI와 비교해 디테일의 재현성이 뛰어나고, 깜빡임도 억제할 수 있다고 합니다. Adobe는 BasicVSR(좌상), BasicVSR++(우상), TTVSR(좌하) 등 영상 업스케일 AI와 VideoGigaGAN(우하)의 처리 결과를 비교하여 VideoGigaGAN의 성능을 어필하고 있습니다.



덧붙여 VideoGigaGAN의 기술적인 상세는 아래에서 확인할 수 있습니다.

[2404.12388] VideoGigaGAN: Towards Detail-rich Video Super-Resolution
https://arxiv.org/abs/2404.12388

 

반응형