AI로 생성된 동영상을 보면 연속적인 움직임 속에서 컨텍스트를 무시하도록 객체가 갑자기 다른 물건으로 바뀌거나, 대충 그린 그림처럼 영상이 흔들리거나 뭉개지는 경우가 종종 있습니다. 이러한 문제를 개선하는 Content Deformation Field(CoDeF: 콘텐츠 변형 필드)가 공개되었습니다.
CoDeF 소개 : Content Deformation Fields for Temporally Consistent Video Processing
https://qiuyu96.github.io/CoDeF/
CoDeF
We present the content deformation field (CoDeF) as a new type of video representation, which consists of a canonical content field aggregating the static contents in the entire video and a temporal deformation field recording the transformations from the
qiuyu96.github.io
[2308.07926] CoDeF 논문 : Content Deformation Fields for Temporally Consistent Video Processing
https://arxiv.org/abs/2308.07926
CoDeF의 데모 영상입니다. CoDeF에서 동영상을 처리하면 입력 영상에 자연스러운 형태로 각색을 더할 수 있습니다.
아래 동영상의 왼쪽이 입력 동영상, 오른쪽이 출력 동영상입니다. 여성의 모습이 '파이널 판타지'에 등장하는 '티파 록하트'로 바뀌고 있습니다.
다음은 초원을 달리는 전철이 애니메이션으로 바뀌는 영상입니다.
CoDeF는, 영상 전체의 정적 컨텐츠를 집약하는 「canonical(정본) 컨텐츠 필드」와, canonical 컨텐츠 필드로부터 렌더링 되는 화상 「canonical 이미지」를 시간축을 따른 프레임으로 변형할 때 기록되는 「시간 변형 필드」로 구성되어 있으며, 입력 영상을 기초로 「프레임의 일관성이 있는 영상」을 작성할 수 있다는 것.
CoDeF의 리파지토리는 아래에 게시되어 있습니다.
qiuyu96/CoDeF: Official PyTorch implementation of CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
https://github.com/qiuyu96/CoDeF
GitHub - qiuyu96/CoDeF: Official PyTorch implementation of CoDeF: Content Deformation Fields for Temporally Consistent Video Pro
Official PyTorch implementation of CoDeF: Content Deformation Fields for Temporally Consistent Video Processing - GitHub - qiuyu96/CoDeF: Official PyTorch implementation of CoDeF: Content Deformati...
github.com
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| 일러스트 및 사진에 전자 워터마크를 넣어 AI의 학습을 막는 툴 「Mist」 (0) | 2023.08.29 |
|---|---|
| AI가 웹에서 무료로 인간의 전신 사진을 만들어주는 「AI Human Generator」리뷰 (2) | 2023.08.28 |
| 성인용 콘텐츠 생성을 위한 AI 모델이 판매되고 있다 (3) | 2023.08.24 |
| 「Stable Diffusion」의 「나쁜 예를 모은 LoRA」를 조합해 고품질 이미지를 생성하는 기법이 등장 (2) | 2023.08.24 |
| 영상과 텍스트로 프레임 일관성을 유지하며 실용성 높은 동영상을 생성하는 AI「StableVideo」 (1) | 2023.08.23 |
| 확산 모델을 사용하여 흑백 이미지를 컬러로 바꾸는 「 Color Diffusion」 (2) | 2023.08.14 |
| Stability AI의 「SDXL 1.0 모델」웹 앱이 공개되었습니다 (1) | 2023.07.27 |
| Meta가 이미지를 텍스트로, 텍스트를 이미지로 변환하는 AI 「CM3leon」 발표 (14) | 2023.07.19 |
