중국 청화대학의 연구팀이 1장의 사진에서 3D 메쉬 모델을 자동 생성하는 프레임워크 ' Unique3D '를 공개했습니다. Unique3D는 한 방향에서 촬영된 사진에서 2D 확산 모델을 응용하여 피사체의 형상을 예측하고 비교적 고속으로 3D 메쉬 모델을 생성할 수 있으며 무료로 사용할 수 있는 온라인 데모도 공개되어 있습니다 .
[2405.20343] Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image
https://arxiv.org/abs/2405.20343
GitHub - AiuniAI/Unique3D: Official implementation of Unique3D: High-Quality and Efficient Image
https://github.com/AiuniAI/Unique3D
Unique3D의 온라인 데모는 기사 작성 시점에 온라인 AI 플랫폼의 Hugging Face와 Gradio 등에서 공개됩니다. 이번에는 Hugging Face에서 실제로 Unique3D 데모를 사용해 보았습니다.
Unique3D - a Hugging Face Space by Wuvin
https://huggingface.co/spaces/Wuvin/Unique3D
상기 URL의 데모 페이지에 액세스하면 이런 느낌. '여기에 이미지 삭제 - 또는 - 클릭하여 업로드' 영역을 클릭하여 이미지를 업로드합니다.
이번 업로드한 이미지는 소지의 스마트폰으로 빨리 촬영한 iCEO 의 사진입니다.
이미지를 업로드한 후 오른쪽에 있는 Generate 3D를 클릭합니다.
그러면 약 60초 정도에 3D 메쉬 모델이 생성되었습니다.
3D 메쉬 모델의 정면·좌측면·배면의 3면을 늘어놓은 곳. 원래가 된 것은 정면에서 촬영한 사진 1장뿐입니다만, 측면과 배면도 제대로 모델링되고 있습니다. 다만, 생성된 3D 메쉬 모델은 실물보다 조금 평평해지고 있는 인상.
생성된 3D 메쉬 모델은 오른쪽 상단의 다운로드 아이콘을 클릭하여 로컬에 저장할 수 있습니다. 파일 형식은 glTF 형식입니다.
또한 Unique3D의 개발 팀에 따르면 Unique3D에는 Stable Diffusion , Wonder3d , Zero123Plus , Continues Remeshing , Depth from Normals 의 코드를 유용하다고 합니다.