최근에는 AI 기술이 비약적으로 진보하고 있어, 일러스트와 만화 등의 제작에 AI를 이용하고자 하는 시도가 진행되고 있으며, 보다 복잡한 게임 제작에도 AI를 활용할 방법을 모색하고 있습니다. 게임 업계에서 20년 가까이 일해 온 Justi-Petteri Kemppainen 씨가,「게임 캐릭터의 3D 모델 작성에 AI를 이용할 수 있을는지」 시도해 본 결과를 보고하고 있습니다.
AI assisted graphics: Character modeling – Trafficking
https://www.traffickinggame.com/ai-assisted-graphics/
게임 업계에서 캐릭터나 배경의 모델 작성을 해 온 Kemppainen 씨는 "재미를 위한 소규모 프로토타입"으로서, 배경은 2D이고 캐릭터는 3D가 되는 "2.5D게임"의 3D모델 작성에 AI를 이용할 수 있을지 시험해 보았다는 것.
Kemppainen 씨는 "최선의 방법은 AI로 캐릭터의 콘셉트를 생성하고 그것을 3D 모델화하는 것이라고 생각했습니다."라고 말했듯이 우선은 이미지 생성 AI인 Midjourney나 StableDiffusion에 프롬프트를 입력하고 캐릭터의 설정집을 생성하는 것부터 시작했습니다. 실제로 Midjourney에서 생성한 설정집의 프로토타입이 아래. "첫 번째 결과는 매우 희망적입니다. 흑백인 것은 그다지 좋지 않았지만 모델 시트는 일반적으로 이렇게 흑백입니다."라고 Kemppainen 씨의 코멘트. 덧붙여 Kemppainen 씨는 AI에 입력하는 프롬프트에 특정 아티스트의 이름은 사용하지 않았다고 합니다.
몇 가지 조정을 한 결과 Kemppainen 씨는 3D 모델의 기초로 사용할 수 있는 품질의 모델 시트를 생성할 수 있었습니다.
실제로 Kemppainen 씨가 생성한 모델 시트의 예가 아래입니다.
AI에 의해 생성된 캐릭터를 다양한 각도에서 본 이미지는 원근법이나 앵글의 문제는 있었지만, 기본적으로 놀라울 정도로 뛰어난 일관성을 유지하고 있었다는 것. Kemppainen 씨는, AI가 생성한 배면도에는 약간 문제가 많았기 때문에, 측면도와 정면도로부터 3D모델로 작성하기로 했습니다.
그러나, 캐릭터를 완성해 보면, 다양한 텍스처 투영이 메쉬상에서 올바르게 일치하지 않는다는 것을 알았다고 합니다.
거기서 Kemppainen 씨는, 텍스처 투영마다 모프 맵을 작성 해, 정면 · 측면 · 후면의 외형이 메쉬상에서 가능한 한 일치하도록 조정을 실시했습니다.
그 후, 작성한 3D 메쉬를 2차원으로 전개(UV 전개)하고, 3D 모델을 작성했다고 합니다.
실제로 Kemppainen 씨가 AI를 이용하여 작성한 3D 모델은 다음 영상에서 확인할 수 있습니다. 덧붙여 이번에는 어디까지나 원경으로 보는 것만을 전제로 하고 있어, 캐릭터의 세부 사항에는 집착하지 않았다고 합니다.
(1) AI assisted 3D modeling turnaround 01 - YouTube
캐릭터의 3D 모델이 완성된 후 2D 배경도 AI에서 생성하였습니다.
그리고 Kemppainen은 fSpy 라는 오픈 소스 도구를 사용하여 이미지를 3D 공간으로 변환하고 캐릭터와의 원근감이 일치하도록 조정했습니다. 그리고 소재를 Unity로 가져와 캐릭터가 걷고 있는 간단한 영상을 만들었습니다.
실제로 Kemppainen 씨가 작성한 영상이 아래로, 움직이고 있는 캐릭터를 멀리서 보는 한은, 특별한 위화감은 느껴지지 않습니다. Kemppainen 씨는 AI로 이미지 생성 및 3D 모델 작성 등을 포함하여 작업한 시간은 18시간 정도였으며, 캐릭터 작성에서 2일, 배경 작성에서 3일의 작업 시간을 단축할 수 있었다고 추정하고 있습니다.
AI game in engine screen capture - YouTube
Kemppainen 씨는 "결과물은 결코 완벽하지 않습니다. 캐릭터 클로즈업 시 이상적이지 않으며, 배경도 아트 디렉션이 어렵고 상당히 무작위로 될 수 있습니다. 그러나 AI의 단점을 받아들이고 이를 극복해 낸다면 AI를 공동작업자로서 활용하여 완전한 게임을 만들 수도 있을 것 같습니다."라고 코멘트.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 완전히 새로운 합성 음성을 설계할 수 있는 모델「Design Voice」 (1) | 2023.01.16 |
|---|---|
| 대화가 가능한 가상의 "아내"를 ChatGPT와 Stable Diffusion으로 구축하여 최종적으로 안락사 시키기까지 (0) | 2023.01.13 |
| 영상에 어울리는 음악을 AI가 자동 선곡해주는 Qosmo의「Video2Music」서비스 (0) | 2023.01.13 |
| 뉴스 미디어 CNET이 비밀리에 AI로 기사를 작성하고 있었다고 보도, 필명은 'CNET Money' (0) | 2023.01.13 |
| AI를 사용하여 악성 코드를 생성하는 "트로이 목마 퍼즐" (0) | 2023.01.12 |
| Microsoft가 단 3초의 샘플에서 사람 목소리를 재현할 수 있는 음성 합성 AI 'VALL-E'를 발표 (0) | 2023.01.11 |
| "AI를 이용해 그림을 그렸다"며 아티스트가 Reddit 최대의 아트 커뮤니티에서 BAN (0) | 2023.01.11 |
| GPT-3 기반 AI 변호사가 대법원에서 변론할 예정 (0) | 2023.01.11 |
