2024년 3월 5일, 이미지 생성 AI「Stable Diffusion」등의 개발을 실시하는 Stablity AI가, 3D 모델 생성 AI 툴 「Tripo AI」를 개발하는 Tripo와 제휴해, 화상을 입력하는 것만으로 고품질의 3D 모델을 생성할 수 있는 AI 툴「TripoSR」을 발표했습니다.
TripoSR 소개 : 단일 이미지에서 고속 3D 객체 생성 — Stability AI
https://stability.ai/news/triposr-3d-generation
Introducing TripoSR: Fast 3D Object Generation from Single Images — Stability AI
We have partnered with Tripo AI to develop TripoSR, a fast 3D object reconstruction model inspired by the recent work of LRM: Large Reconstruction Model For Single Image to 3D. This new image-to-3D model is designed to cater to the growing demands of enter
stability.ai
TripoSR: Fast 3D Object Reconstruction from a Single Image
PDF 파일 다운로드 : https://static1.squarespace.com/static/6213c340453c3f502425776e/t/65e5d4991c13be738cc1f8fe/1709560988372/TripoSR_report.pdf
TripoSR은 이미지를 3D 모델링할 수 있는 AI입니다. 이미 TripoSR을 쉽게 사용할 수 있는 데모가 공개되어 있으므로 실제로 사용해 보겠습니다.
우선은 아래의 링크를 클릭.
TripoSR - a Hugging Face Space by stability.ai
TripoSR - a Hugging Face Space by stabilityai
huggingface.co
이번에는 아래의 이미지를 3D 모델화 해 보겠습니다.
Input Image로 표시된 영역으로 이미지를 드래그 앤 드롭하고 Generate를 클릭합니다.
잠시 기다리면 배경을 지우는 처리가 수행된 이미지와 생성된 3D 모델이 표시됩니다.
생성된 3D 모델은 이런 느낌.
3D 모델은 드래그하여 움직이거나 마우스 휠을 굴려 확대 · 축소할 수 있습니다.
원래 이미지에서 보이지 않는 인형의 뒷면도 생성됩니다.
아래에서 보면 이런 느낌.
3D 모델 오른쪽 상단의 다운로드 버튼을 클릭하면 3D 모델을 OBJ 형식의(Wavefront .obj) 파일로 다운로드할 수 있습니다.
또, 화면 하단의 「Example」에서 OpenAI가 준비한 예시를 열람하는 것도 가능합니다.
Stability AI에 따르면 이번에 발표된 TripoSR은 2023년 11월에 공개된 논문 '단일 이미지에서 3D로 대규모 재구성 모델'에 영감을 받아 탄생한 고속 3D 객체 재구축 모델인 것.
TripoSR은 OpenLRM을 비롯한 다른 모델에 비해 몇 분의 1의 시간만에 정밀한 3D 모델을 생성할 수 있습니다. Stability AI는 NVIDIA A100을 사용한 테스트에서 단 0.5초 만에 3DCG를 생성했다고 보고했습니다. 다음은 3DCG 생성을 위한 추론에 필요한 시간과 품질을 나타낸 그래프입니다. 청색으로 표시된 TripoSR이 생성 속도뿐만 아니라 품질에도 우수함을 알 수 있습니다.
또한 TripoSR은 GPU가 없는 환경에서도 동작한다는 것. TripoSR의 사용 용도에 대해서 Stability AI는 "엔터테인먼트나 게임, 공업 디자인, 건축 분야 등에 응용할 수 있어 개발자나 디자이너, 크리에이터 분들께서 TripoSR의 기능을 탐구하여 업계를 변혁할 가능성을 찾을 수 있도록 해드리고 싶습니다."라고 코멘트.
TripoSR의 소스 코드와 모델 데이터는 다음 링크에서 공개되어 있습니다.
GitHub - VAST-AI-Research/TripoSR
https://github.com/VAST-AI-Research/TripoSR
GitHub - VAST-AI-Research/TripoSR
Contribute to VAST-AI-Research/TripoSR development by creating an account on GitHub.
github.com
stabilityai/TripoSR · Hugging Face
https://huggingface.co/stabilityai/TripoSR
stabilityai/TripoSR · Hugging Face
TripoSR TripoSR is a fast and feed-forward 3D generative model developed in collaboration between Stability AI and Tripo AI. Model Details Model Description We closely follow LRM network architecture for the model design, where TripoSR incorporates a serie
huggingface.co
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| 여러 장의 2D 이미지에서 3D 공간을 재현하는 「Toon3D」 (4) | 2024.05.21 |
|---|---|
| 구글이 한 장의 사진과 음성으로 리얼한 동영상을 생성하는 AI 「VLOGGER」발표 (61) | 2024.03.20 |
| 그래픽카드 변경 없이도 이미지 생성 속도를 높여주는「Stable Diffusion WebUI Forge」설치 과정 (63) | 2024.03.08 |
| 배경이 투명한 이미지를 쉽게 생성할 수 있는 이미지 생성 AI「Layer Diffusion」리뷰 (77) | 2024.03.07 |
| 사진이나 일러스트가 노래하도록 하거나 말하게 하는 AI 시스템 「EMO」가 등장 (76) | 2024.03.04 |
| Stable Diffusion XL이 「SDXL-Lightning」의 데모를 공개 (75) | 2024.02.28 |
| Stability AI가 고화질 이미지 생성 AI 「Stable Diffusion 3」를 발표 (85) | 2024.02.26 |
| 스테이블 디퓨전의 제작사 Stability AI가「Stable Cascade」를 발표 (85) | 2024.02.22 |
