Stable Diffusion이 배경을 자동 생성하는 2D 액션 게임 「Dimension Hopper」가 등장

 

이미지 생성 AI인 Stable Diffusion에 테마와 배경 등 이미지 전반의 제작을 맡긴 게임 「Dimension Hopper」가 등장했습니다. 제작자인 로봇 공학자 벤지 홀슨 씨가 어떻게 게임을 완성했는지 제작 배경을 말하고 있습니다.

디멘젼 호퍼는 차원 깔때기 정도로 표현할 수 있겠습니다.

Dimension Hopper Part 1 - by Benjie Holson

Dimension Hopper Part 1

웹사이트에서 무료로 즐길 수 있는 게임입니다. 아래 링크에서 "Play Game!"을 클릭합니다.

Dimension Hopper
https://dimensionhopper.com/

Dimension Hopper

Dimension Hopper는 두 캐릭터를 WASD 또는 방향 키로 조작하여 필드에 나타나는 보석을 획득하고 점수를 얻는 대전형 게임입니다. 일정 시간이 경과하면 필드가 통째로 변화합니다만, 이 필드는 Stable Diffusion이 자동으로 생성한 것입니다.

Dimension Hopper의 제작 시, 우선 홀슨씨는 Stable Diffusion에 아래의 이미지를 주고, 이 이미지를 바탕으로 프롬프트를 입력해 새로운 이미지를 생성했습니다.

생성한 이미지는 이렇습니다. Stable Diffusion은 원본 이미지의 흰 블록(기반)을 유지하면서 배경에 픽셀 아트를 생성하고 있습니다.

홀슨씨가 프롬프트나 설정을 바꿔가며 조정한 이미지가 아래. 신비한 분위기가 도는 픽셀 아트가 생성되어 방금 전과는 사뭇 다른 일러스트가 되었습니다.

추가 조정 및 생성을 통하여 완성한 다른 예. 기본 틀이 되는 막대에 음영도 집어넣었습니다.

기본 틀(막대)과 배경이 어울리지 않는다고 느낀 홀슨 씨는 "픽셀 아트로 훈련된 모델을 사용하고 있는 것이 문제의 원인"이라고 생각해 아이를 위한 일러스트를 기반으로 한 모델로 바꾸어 다시 생성을 시도했다는 것. 그때의 이미지가 이런 느낌. 지금까지의 이미지와는 달리, 기본 틀과 배경이 잘 융합되어 있는 것처럼 보입니다.

다만, 기본 틀과 배경이 동화해 버리는 일도 있었다고 합니다. 이것은, Stable Diffusion이 틀을 단순한 「윤곽」으로서 인식하고 있어, 레이어의 개념을 인식하지 못한 것이 원인으로 여겨진다는 것.

그래서, 홀슨 씨는 기본 틀에 깊이(Depth)를 갖도록 편집을 실시합니다.

위의 편집을 수행하는 것만으로, Stable Diffusion은 쉽게 기본 틀을 바탕으로 떠오르는 이미지를 생성해 주었습니다.

기본 틀이 되는 이미지에 의해 생성되는 이미지의 품질이 크게 달라진다는 것을 깨달은 홀슨 씨는 기본 이미지에 "회색", "진한 회색", "검정"등 색을 구분했습니다.

'회색은 기본 틀', '짙은 회색은 게임 플레이와는 무관한 배경' 등의 힌트를 제공하여 보다 깊이 있는 고품질 이미지를 생성하는 데 성공했습니다.

 

참고로, 이 게임은 AWS로 호스팅되고 있으며,
AI가 GPU에 굶주려 있기 때문에 인스턴스 비용이 하루에 12달러나 나가고 있으므로, 제작자가 갑자기 호스팅을 중지할 수도 있다고...