OpenAI가 3D모델 생성 AI「Point-E」를 오픈 소스화, 600배 빠른 3D 오브젝트 생성

 

이미지 생성 AI DALL-E 2 와 텍스트 생성 AI GPT-3, 대화형 AI ChatGPT를 개발하는 연구 단체 OpenAI가 텍스트에서 3D 객체를 생성하는 AI Point-E 를 오픈소스 화하여 GitHub에 게시했습니다.

GitHub - openai/point-e: Point cloud diffusion for 3D model synthesis
https://github.com/openai/point-e

GitHub - openai/point-e: Point cloud diffusion for 3D model synthesis

[2212.08751] Point-E: A System for Generating 3D Point Clouds from Complex Prompts

Point-E: A System for Generating 3D Point Clouds from Complex Prompts

Point-E는 주로 "텍스트에서 이미지를 생성하는 모델"과 "이미지에서 점군 데이터를 생성하는 모델"의 두 가지로 구성됩니다. 텍스트에서 이미지를 생성하는 모델은 Stable Diffusion 및 OpenAI가 개발한 DALL-E 2와 같은 이미지 생성 AI와 마찬가지로 라벨이 지정된 이미지의 데이터 세트에서 텍스트와 시각적 개념의 연관성을 해석하는 모델입니다.

 

그리고, 「이미지로부터 점군(Point Cloud) 데이터를 생성하는 모델」은, 3D 오브젝트와 세트로 되어있는 이미지 데이터 세트로부터, 양쪽의 효과적인 변환을 학습한 모델입니다. 다음은 실제로 이미지(왼쪽)에서 점군 데이터(오른쪽)를 생성한 것입니다.

Point-E가 생성하는 3D 객체는 폴리곤(원래 뜻은 다각형이지만 컴퓨터 그래픽에선 주로 삼각형을 의미)을 결합한 것이 아니라 「공간상의 데이터 점(点)의 이산적인 집합」, 즉 입자를 눌러 담은 것 같은 점군 데이터로 생성됩니다. 따라서 Point-E에는 "점군 데이터를 폴리곤 메쉬(polygon mesh : 여러 개의 폴리곤으로 구성된 하나의 객체)로 변환하는 모델"도 포함되어 있습니다.

점군 모델은 폴리곤 메쉬보다 고속으로 생성할 수 있기 때문에, 3D 오브젝트의 생성이 기존의 600배 이상 고속화 되었다고 합니다. 지금까지 NVIDIA V100에서 몇 시간이나 걸리던 계산이 불과 1~2분 만에 끝나게 되었다는 것이 Point-E의 큰 이점입니다.

 

다만, 물체의 세세한 형상이나 질감을 파악할 수 없다는 단점이 있어, 형상의 일부가 아무래도 블록 형상이 되거나 왜곡되어 버리기도 한다는 것. 아래는 실제로 점군 데이터 생성에 실패해 버린 예.

Point-E 중 텍스트에서 점군 데이터를 생성하는 부분은 온라인 AI 플랫폼인 Hugging Face에서 체험할 수 있습니다. 다만, 대기 순서가 길기 때문에 데모로 준비되어 있는 키워드의 생성에 상당한 시간을 필요로 합니다.

Point E - a Hugging Face Space by openai

Point E - a Hugging Face Space by openai

실제로 데모에서 a red motorcycle를 입력하여 생성한 3D 객체를 아래의 트윗에서 볼 수 있습니다.

OpenAI released Point-E, a text-to-3D (point clouds) demo ????

You can check out an open-source demo for it at https://t.co/ophW1YtCT3????Enjoy! The demo uses the lower-quality but much faster version of the model. pic.twitter.com/sJtlo9ASr6

— Omar Sanseviero (@osanseviero)

 

「Palm Tree(야자나무)」로 생성한 3D 오브젝트는 이런 느낌입니다.

Super fun! pic.twitter.com/9FcOo8996p

— Nikolaj Stausbøl (@_staus)