독자적인 영상 기술에 의한 카메라 워크로 일본 최초의 AI를 이용한 뮤직 비디오 촬영

 
FUJI ROCK FESTIVAL을 비롯해 일본 최대급의 야외 페스티벌에도 이름을 올리는 어쿠스틱 밴드 OAU(Overground Acoustic Underground).

2023년 4월 12일 새 앨범 'Tradition'을 발매하고 수록곡 'Seravi - C'est La Vie -'의 뮤직비디오를 공개했습니다.

이 비디오는 영상 전체가 'NeRF'라는 AI를 활용한 최신 영상 기술로 구성되어 있습니다. 테크놀로지컬 크리에이티브팜 THINK AND SENSE가 제작한 이 작품은 NeRF를 이용한 일본 최초의 뮤직비디오입니다.

촬영하지 않은 시점에서도 카메라 워크가 가능

NeRF(Neural Radiance Fields)는 2020년에 발표된 심층 학습을 이용한 AI 이미지 생성 기술입니다.

복수의 시점으로부터 촬영된 이미지 데이터와 카메라의 위치 정보를 학습 리소스로 하여 신경망 AI 모델을 구축함으로써, 높은 정밀도로 3D 공간의 형상을 복원할 수 있습니다. 이 기술을 사용함으로써, 촬영 데이터 원본에는 없는 자유로운 관점에서 대상물을 볼 수 있습니다. 앞으로는 MR(Mixed Reality)이나 영화 · TV의 특수 효과, 의료용 화상처리 기술 등 폭넓은 분야에서의 응용이 기대됩니다.

NeRF: Neural Radiance Fields - YouTube

NeRF 개요 동영상
참고: NeRF 연구원 페이지
https://www.matthewtancik.com/nerf

NeRF: Neural Radiance Fields

독자적인 워크플로우에 의한 제작

이 작품에서는, 촬영한 데이터를 바탕으로 모든 컷을 「NeRF」의 화상 생성에 의해 재구축해, 실제 촬영한 데이터와는 완전 다른 각도로부터 역동적 카메라 워크 영상으로 완성하고 있습니다.

촬영에서 NeRF 영상 생성, 일러스트 합성, 컴포지션까지의 독자적인 워크플로우 구축을 실시하고, NeRF의 프로세스로 생성되는 데이터를 바탕으로 복수의 툴을 연계시키는 형태를 취하고 있습니다.

NeRF 영상 생성 : 촬영된 실사 영상 데이터를 바탕으로 학습시켜 카메라 워크를 설정하고, 전체 컷 NeRF 영상으로 내보내고 있다.

촬영 단계에서는 카메라 워크를 확정하지 않고, 3D 데이터상에서 다양한 시행착오를 하고, 전체 구성과 각 컷의 카메라 워크를 결정했다고 합니다. '사람들의 다양한 모습을 바람을 타고 돌아다니면서 응시한다'라는 구성 콘셉트를 실현하기 위해 각 컷과의 연결도 연동성을 느끼게 하는 튜닝을 하고 있습니다.

NeRF의 특색인, 보통의 카메라 촬영에서는 불가능한 자유 시점으로부터의 영상 표현을 도입하면서, 어쿠스틱 사운드와의 친화성이 느껴지는 스피드감과, 흔들림을 표현했다는 것.

이미지 생성 시 나타나는 특유의 노이즈를 그대로 표현

이 작품 내에서는 NeRF에서 생성되었을 때 발생하는 구름과 같이 몽글몽글한 노이즈를 그대로 표현에 활용하고 있습니다. 굳이 촬영하지 않은 장소로부터 카메라 워크를 시작해서 재현도가 높은 장소로 카메라를 옮겨 가는 것으로, 구름으로부터 빠져나와 하늘에서 내려온 것 같은 느낌을 표현했습니다.

그 밖에도, 단시간에 촬영한 정보량이 적은 영상 데이터로부터 NeRF 생성을 실시하는 것으로, 의도적으로 노이즈를 늘려 추상화 같은 인상을 낳는 기법을 도입했다고 합니다.

메이킹 영상

완성본