텍스트로 가구나 잡화를 포함한 3D 방을 생성하는「Text2Room」이 등장

 
AI의 발전에 의해, 지금까지 텍스트를 입력하는 것만으로 3D모델, 동영상, 집 등을 생성해 주는 툴이 많이 개발되고 있습니다.

이번에 새롭게, 텍스트를 입력하는 것만으로 자동으로 가구나 잡화를 포함한 3D 방을 생성할 수 있는「Text2Room」이 GitHub로 공개되었습니다.

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models
(PDF 파일) https://lukashoel.github.io/text-to-room/static/images/paper.pdf

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models
https://lukashoel.github.io/text-to-room/

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

GitHub - lukasHoel/text2room: Text2Room generates textured 3D meshes from a given text prompt using 2D text- to-image models.
https://github.com/lukasHoel/text2room

GitHub - lukasHoel/text2room: Text2Room generates textured 3D meshes from a given text prompt using 2D text-to-image models.

뮌헨 공과대학의 루카스 헬라인 씨가 개발한 'Text2Room'은 주어진 텍스트 프롬프트에서 실내 텍스처 3D 메쉬를 생성하는 것을 목적으로 합니다. Text2Room의 메커니즘이 및 생성한 3D 메쉬등을 아래의 영상에서 설명하고 있습니다.

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models - YouTube

3D 메쉬 생성 전에, 먼저 준비사항으로 이미지 생성 AI "Stable Diffusion"을 활용하여 입력한 프롬프트에 따라 실내 이미지를 다양한 각도에서 생성합니다. 생성된 각 이미지에 대해 3D 메쉬를 렌더링 하여 해당 부분의 RGB 렌더링과 깊이 맵을 만듭니다. 이렇게 처리한 이미지에 대해서, 메쉬 필터나 심도에 관한 얼라인먼트를 실시해, 모든 화상을 하나로 정리합니다.

그 후, 입력된 프롬프트에 맞는 적절한 카메라 위치를 샘플링해, 일체화시킨 이미지의 공백 영역을 Text2Room이 보완합니다.

그런 다음 가구 레이아웃과 같은 실내의 주요 부분을 만듭니다. 그리고 프롬프트를 따라 방 전체를 커버하는 가구와 가전, 잡화 등을 렌더링 합니다.

최종적으로, 보완할 수 없었던 빈 영역을 사후 샘플링하여 실내의 완벽한 텍스처를 재현한 3D 메쉬가 완성된다는 것.

아래 이미지는 Text2Room에서 생성된 실내 3D 모델의 스크린샷입니다. 입력한 프롬프트는 "불이 켜진 벽난로, 소파, 기분 좋은 커튼, 방을 밝게 보이는 램프가 있는 거실"입니다.

「시선의 높이로・해안풍 욕실・욕조・조개・라탄・파랑과 흰색」이라고 입력해 생성된 3D 메쉬가 이런 느낌.

「소박한 가옥・거실・돌의 벽난로・목재・가죽 세공・울」로 생성된 이미지가 아래.

「키 큰 책장・테이블・의자・독서등을 갖춘 도서관」

「모던한 아이 방・테이블 램프・흔들의자・목재 장식」

「의자와 책상과 디스플레이로 구성된 작은 사무실」

「책장이나 소파, 작은 테이블이 많이 있는 거실」

Text2Room에 대해 헬라인 씨는 "텍스트 전용 입력으로 매력적인 텍스처의 룸 스케일 3D 지오메트리를 생성할 수 있는 최초의 도구입니다."라고 코멘트하고 있습니다.