영국의 애니메이션 제작 스튜디오인 Prefix Studios 의 연구 개발 부문에 소속되어 있는 HACKMANS 씨가, 이미지 생성 AI Stable Diffusion을 사용해 2D의 RPG 배경을 작성한 경험을 공유하고 있습니다.
Creating Isometric RPG Game Backgrounds
Creating Isometric RPG Game Backgrounds
Using Stable Diffusion techniques to create 2D game environments
talesofsyn.com
HACKMANS님이 Stable Diffusion을 사용하여 만든 게임의 배경이 어떤 것인지는 아래 동영상을 보면 한 번에 알 수 있습니다.
HACKMANS 씨가 위 동영상에서 확인할 수 있는 게임 배경을 만드는 데 사용한 도구는 다음과 같습니다.
· Stable Diffusion (버전 1.5)
· AUTOMATIC 1111
· alpaca
· Boosting Monocular Depth
· Adobe Substance 3D Designer
· URP
· Amplify Shader Editor
우선, HACKMANS 씨는 VFX 아티스트의 Ivan Garcia Filho 씨가 공개하고 있는 「스테이블 디퓨전 베이스의 이미지생성 AI · PixelmindAI를 사용하여 게임용 에셋을 생성하는 방법」에 소개된 프롬프트를 이용하여 게임에 사용할 수 있는 사이버펑크 요소를 포함한 이미지를 생성하고 있습니다. 다음은 Filho 씨의 프롬프트를 사용하여 Stable Diffusion에서 생성한 이미지입니다.
덧붙여 아래가 Filho 씨의 '프롬프트'입니다.
An intricate modular top-down isometric concept art with PBR materials of a victorian gothic ornated steampunk lamp, in ominous hellish industrial mood and a neat and clean composition with sharp precisely stabilized straight lines, colorful tone mapped cinematic volumetric lighting and global reflections and detailed ambient occlusion with smooth cold shadows and hot highlights increasing depth and perspective
최초의 출력은 전체적으로 흐릿한 인상으로 그다지 뛰어난 화상이 아니었기 때문에, 스텝수를「100」으로 올려, Classifier Free Guidance(CFG) 스케일을「15~30」으로 변경하여 더 나은 이미지를 출력하는 데 성공했다고 합니다.
계속, AUTOMATIC1111의 X/Y 플롯을 사용해 일련의 스텝 및 CFG를 반복 처리하고, AUTOMATIC1111에서 CFG 스케일을 13.0 ~ 20.0으로 변경하였더니 출력 이미지가 다음과 같이 나왔습니다.
HACKMANS 씨의 경우, CFG 스케일을 16.0으로 고정해, 스텝수가「100」인 타이밍에 출력된 화상이 특히 마음에 들었다고 합니다.
HACKMANS 씨는 평소부터 Photoshop을 이용하고 있기 때문에, alpaca를 사용해 Stable Diffusion 화상 생성을 실행하고 있습니다.
생성된 이미지를 보다 큰 캔버스에 배치하고, 아웃 페인트 기능을 이용하여 최초로 생성한 이미지 이외의 영역을 작성하고 있습니다.
최종적으로 생성한 화상을 img2img로 2배의 해상도로 완성한 것이 아래의 화상.
이어 HACKMANS 씨는 게임 엔진 Unity에서 이 이미지를 배경으로 사용하기 위해 이미지에서 조명을 제거하고 사용자 지정 셰이더를 사용하여 조명을 재배치합니다. 그 때문에, 우선은 Photoshop을 사용해 강렬한 색들을 덧발라 제거합니다.
조명을 추가하기 위해 이미지의 법선 맵(법선 매핑은 3차원 컴퓨터 그래픽스에서 튀어나온 곳과 움푹 틀어간 곳의 빛을 왜곡시키는 기법)을 만들어야 했기 때문에 HACKMANS 씨는 먼저 Boosting Monocular Depth의 "MiDaS"와 "LeRes"라는 기능을 사용하여 이미지의 심도 맵을 만들었습니다. 다음이 작성된 심도 맵.
이 심도 맵을 Adobe Substance 3D Designer로 가져와 Height to Normal World Units 를 사용하여 법선 맵을 만듭니다. 얻은 법선 맵은 완벽하다고는 할 수 없지만, "저의 테스트 상으로는 충분했습니다"라고 HACKMANS씨.
노멀 맵을 베이스로 Unity를 사용해 배경의 2개소에 색을 입힙 조명을 배치한 것이 아래의 영상.
"조명의 빛이 건물의 표면을 자연스럽게 감싸고 있어, 리얼한 라이팅을 실현하고 있습니다."라고 HACKMANS 씨는 기록하고 있습니다.
게다가 HACKMANS 씨는 Amplify Shader Editor로 작성한 커스텀 URP 쉐이더와, 심도 맵 및 법선 맵을 이용 해, 몇 개의 다른 수법도 시도한 모양으로, Amplify Shader Editor의 시차 오클루전 매핑을 시도했지만 "카메라의 움직임에 미묘한 의사 3D 원근법이 추가되었지만 등각 투영 뷰의 깊이가 올바르지 않아 외형이 상당히 나빠졌다"라고 HACKMANS 씨는 적고 있습니다.
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| 「Blender + ControlNet」을 사용하여 애니메이션을 만드는 방법 (3) | 2023.03.18 |
|---|---|
| 「Midjourney V5」등장, 취약했던 '손'도 깨끗하고 실사와의 구별은 거의 불가능 (0) | 2023.03.17 |
| 채팅으로 이미지 생성이 가능한「Visual ChatGPT」를 Microsoft가 개발 (0) | 2023.03.16 |
| 「Stable Diffusion」으로 fMRI에 의한 뇌 활동 데이터로부터 이미지를 생성하는 연구 (0) | 2023.03.08 |
| Stable Diffusion 개발사가 3D 애니메이션 생성 AI「Stability For Blender」를 발표 (0) | 2023.03.06 |
| 「Stable Diffusion」에서 단 1장의 이미지로부터「~ 같은 ○○」를 불과 수십초만에 생성하는 방법 (0) | 2023.03.02 |
| 직접 그린 그림과 같은 구도로 이미지를 생성하는「Scribble Diffusion」이 등장 (1) | 2023.03.02 |
| 「Stable Diffusion」의 배경지식을 얻는 데 도움이 되는「SD Toolset」 (0) | 2023.02.28 |
