NVIDIA는 2024년 1월 3일 텍스트에서 동적 3D 객체를 생성하고 이를 4D 이미지로 표현하는 신기술 「Align Your Gaussians(AYG)」를 발표했습니다.
https://research.nvidia.com/labs/toronto-ai/AlignYourGaussians/
Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models
Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models
research.nvidia.com
AYG는 텍스트에서 동적인 3D 객체를 생성하고 그것을 4D 이미지로 표현하는 기술입니다. 동적(시간의 경과에 따라 변화하는) 3D 가우스 표현을 이용하여 변형 필드를 조합함으로써, 시간적 차원을 포함한 4D 콘텐츠의 작성을 가능하게 합니다. 결과적으로, 텍스트 입력으로부터 동적인 4D Asset이나 씬의 생성이 실현된다고 합니다.
1단계 : 정적 3D 합성
StableDiffusion(Text-to-Image)과 MVDream(Text-to-Multiview-Image)의 두 가지 모델을 사용하여 3D 스틸 이미지를 형성합니다.
2단계 : 동적 4D 합성
텍스트에서 동영상 및 텍스트에서 스틸 이미지 모델을 결합하여 변형 필드를 최적화하고 시간적 역학을 추가합니다. 이것은 움직이고 변형하는 동적 4D Asset을 생성합니다. Asset의 샘플도 공개되어 있습니다.
AYG는 또한 동적 3D 객체를 생성하는 것 외에도 이러한 객체를 동적 장면에 결합하는 능력을 가지고 있습니다. 이 기술의 응용 범위는 넓고, 특히 게임, 영화, 애니메이션, VR 등에서의 활용이 기대되고 있습니다. NVIDIA는 AYG가 향후 이미지에서 3D 객체를 생성하는 기술과 결합하여 더욱 발전할 가능성이 있다고 합니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 가정용 AI 바둑 로봇 「SenseRobot Go」가 일본에서 발매 중 (88) | 2024.01.18 |
|---|---|
| 난방도 하면서 AI 트레이닝 및 암호화폐 마이닝을 하는「Heatbit Mini」 (83) | 2024.01.17 |
| Apple 이 효율적인 모델 운용을 위한「LLM in a flash」 를 발표 (83) | 2024.01.17 |
| AI로 전세계 고용의 40%가 영향받을 수 있다고 IMF가 경고 (82) | 2024.01.17 |
| 아이디어를 몇 단어로 지시하면 AI가 음악을 생성해주는 Google 「MusicFX」 (81) | 2024.01.11 |
| Microsoft가 30년 만에 표준 키보드에 새로운 키를 추가, AI 툴에 액세스하는 「Copilot 키」가 등장 (84) | 2024.01.10 |
| 단어와 소리를 오디오 형식으로 변환하는 AI 「Amphion」 테일러 스위프트가 부르는 중국 노래를 생성 (79) | 2024.01.09 |
| 이미지를 분석해 캡션을 자동으로 생성해 주는, 오픈 소스로 상용 이용도 가능한 AI 모델 「BLIP-2」리뷰 (65) | 2024.01.04 |
