여러 장의 2D 이미지에서 3D 공간을 재현하는 「Toon3D」

 
 
몇 장의 만화 · 애니메이션 이미지로부터  「그럴듯한 3D구조」 를 재현하는 툴  「Toon3D」 가 공개되었습니다.

Toon3D
https://toon3d.studio/

인간은 2D 이미지에서 3D 세계를 인식할 수 있지만 기계는 불가능합니다. Toon3D는 여러 장의 이미지를 기반으로 이미지에 그려지지 않은 공간을 보완하는 도구입니다.

다음은 샘플 영상입니다.

 

이 샘플에 사용된 이미지입니다.

반응형

또 다른 1장입니다. 이 두 장의 이미지를 바탕으로 Toon3D는 공간을 재현했습니다.

재현된 장면은 흐릿합니다. 데모에서는 2장의 이미지가 사용되었습니다만, 본래는 3장 이상의 이미지를 사용할 필요가 있다고 합니다.

또 하나의 샘플 영상입니다.

손으로 그린 그림도 Toon3D로 재구성할 수 있습니다. Toon3D는 각 이미지의 깊이를 예측하고 점군의 정렬과 워프를 수행하며 가우스 정밀화를 사용하여 다음과 같은 동영상을 만듭니다.

Toon3D는 GitHub에도 공개되어 있습니다.

GitHub - ethanweber/toon3d: Code for Toon3D
https://github.com/ethanweber/toon3d?tab=readme-ov-file

GitHub - ethanweber/toon3d: Code for Toon3D https://toon3d.studio/