레이아웃 만으로 직관적으로 그리는 이미지 생성 시스템「SceneComposer」를 Adobe가 개발

존스 홉킨스 대학과 Adobe Research의 연구팀이 손으로 그린 레이아웃을 이용하여 객체 배치를 쉽게 지정할 수 있으며, 생성 후 이미지를 미세 조정할 수 있는 이미지 생성 시스템 SceneComposer 를 개발했습니다.

https://zengyu.me/scenec/

SceneComposer: Any-Level Semantic Image Synthesis

https://github.com/zengxianyu/scenec

GitHub - zengxianyu/scenec

「SceneComposer」는 텍스트로부터 이미지를 생성하는 것이 가능하며, 연구팀이 공개하고 있는 영상에서는,「a frog reading a book(개구리가 책을 읽고 있다)」라는 텍스트를 입력하면, 이런 이미지가 생성됩니다.

또한 텍스트를 파트별로 분할하고 특정 파트별 색으로 구분하여 레이아웃을 지정할 수 있습니다. 예를 들어, 'a dog reading a book(개가 책을 읽고 있다)'라는 텍스트를 'a dog(개)', 'reading a book(책을 읽고 있다)'라는 두 부분으로 나누고 'a dog '을 파란색으로, 'reading a book'을 갈색으로 칠해 레이아웃을 지정할 수 있습니다.

이렇게 미리 지정한 레이아웃에 따라 이미지가 생성되었습니다.

「Albert Einstein in spacesuit on a horse(우주복을 입은 앨버트 아인슈타인이 말을 타고 있다)」라는 텍스트에 근거해 레이아웃 지정 없이 생성한 것이 왼쪽, 중간처럼 레이아웃을 지정한 것이 오른쪽입니다.

게다가, 이미지의 구도를 유지한 채로 오브젝트를 바꾸거나 덧붙이거나 하는 것도 가능합니다. 이번에는, 개가 책을 읽고 있는 이미지에「wear glasses(안경을 쓴다)」라는 요소를 추가해 보겠습니다.

텍스트나 지정색 옆에 있는「Precision level(정확도)」의 항목을 조정하여 특정 파트의 정확도를 조절 가능합니다.

「wear glasses」의 지정색인 핑크색으로 안경을 씌우고 싶은 곳을 지정해 생성하겠습니다. 또한 SceneComposer에서는 이미지의 노이즈를 고정하여 재생성할 수 있습니다.

생성된 이미지는 이런 느낌입니다. 구도나 분위기를 유지한 채, 책을 읽고 있는 개에게 안경을 씌울 수 있었습니다.

다음은 "a zombie(좀비)", "a road(길)", "a hut(오두막)", "forest(숲)", "pencil sketch(연필 스케치)"라는 텍스트로 이미지를 생성해 보겠습니다. 이때,「pencil sketch」에 대해서는,「Precision level」을 「0」으로 하면 좋습니다.

오두막과 나무를 배경으로 한 좀비가 펜화 터치로 생성되었습니다.

또한,「Keep Pixels(픽셀을 유지)」에 체크하면 바꾸고 싶지 않은 부분은 그대로 놔두고 바꿀 부분만 새로운 요소로 덧붙일 수 있습니다.

생성된 이미지의 하단에 "a field of flowers(꽃밭)"라는 레이아웃을 지정합니다.

그러면 개구리와 배경은 변하지 않은 채, 땅이 꽃밭이 되었습니다.

바꾸고 싶지 않은 부분을 유지한 채 이미지의 일부를 편집한 예는 이런 느낌.

덧붙여「SceneComposer」의 GitHub 페이지에는 상세 정보가 게재되어 있지 않습니다만, 조만간 갱신될 예정이며 웹 애플리케이션도 공개할 예정이라고 합니다.