본문 바로가기
AI · 인공지능/이미지 생성 AI

문장을 입력하여 실제 인물이나 캐릭터의 3D 두상을 생성하는 AI 「HeadSculpt」

by 두우우부 2023. 6. 8.
반응형

 

텍스트 입력만으로 머리의 3D 모델을 생성할 수 있는 AI 「HeadSculpt」가 개발되었습니다. HeadSculp에서는 기존의 AI와 비교하여 위화감이 적은 모델의 생성이 가능하며, 애니메이션이나 게임 캐릭터도 대응하고 있다는 것 외에, 편집 기능도 탑재하고 있습니다.

HeadSculpt는 두상 조각 정도로 해석하면 되겠습니다.



HeadSculpt
https://brandonhan.uk/HeadSculpt/

[2306.03038] HeadSculpt: Crafting 3D Head Avatars with Text
https://arxiv.org/abs/2306.03038

HeadSculpt에서는 「○○의 머리」 '인물'이라는 텍스트(프롬프트)를 입력하기만 하면 대상 3D 모델을 생성할 수 있습니다.

예를 들어 "SLR로 촬영한 리오넬 메시의 초상화"라는 프롬프트를 입력하여 생성한 3D 모델이 아래입니다. 이미지를 클릭하면 3D 모델이 360도 회전하는 애니메이션을 볼 수 있습니다.



「우즈마키 나루토의 머리」는 이런 느낌.



"SLR로 촬영한 갓 오브 워의 크라토스"와 같이 게임 캐릭터도 생성 가능합니다.



"SLR로 촬영한 살바도르 달리의 초상화"




HeadSculpt는 「후두부의 사진」을 미리 학습시키는 것으로 360도 회전해도 위화감이 없는 3D모델의 생성을 가능하게 하고 있습니다. 또한 생성된 3D 모델에 편집을 가할 수도 있습니다. 3D 모델을 편집한 예는 다음과 같습니다.

우선, 「'혹성탈출: 진화의 시작'에 등장하는 시저의 머리」라는 프롬프트로 생성한 3D모델이 이하.



생성된 3D 모델을 '목각으로 만들어라'라고 프롬프트를 편집하면 다음과 같이 목각풍이 됩니다.



"고글을 낀 수영 선수로 해"라는 프롬프트로 편집하자 고글을 착용했습니다.



또한 HeadSculpt 개발에 사용된 코드는 GitHub에 곧 공개될 예정입니다.

GitHub - BrandonHanx/HeadSculpt: [arXiv 2023 WIP] HeadSculpt: Crafting 3D Head Avatars with Text
https://github.com/BrandonHanx/HeadSculpt

GitHub - BrandonHanx/HeadSculpt: [arXiv 2023 WIP] HeadSculpt: Crafting 3D Head Avatars with Text

[arXiv 2023 WIP] HeadSculpt: Crafting 3D Head Avatars with Text - GitHub - BrandonHanx/HeadSculpt: [arXiv 2023 WIP] HeadSculpt: Crafting 3D Head Avatars with Text

github.com

반응형