우키요에 생성 AI 「Evo-Ukiyoe」와 우키요에 컬러화 AI 「Evo-Nishikie」가 등장

 
 
일본의 AI 기업인 Sakana AI가 일본을 대표하는 미술 중 하나인 우키요에를 생성하는 AI 모델 'Evo-Ukiyoe'와 우키요에를 채색하는 AI 모델 'Evo-Nishikie'를 발표했습니다.

일본의 아름다움을 배운 AI : 우키요에풍 이미지 생성 모델 Evo-Ukiyoe와 우키요에 컬러화 모델 Evo-Nishikie를 공개
https://sakana.ai/evo-ukiyoe/

Sakana AI

우키요에는 고흐 등 수많은 거장에게 영향을 준 것으로도 알려져 있습니다. 그러나 기존의 이미지 생성 모델은 우키요에를 중점으로 둔 학습이 이루어지지 않았기 때문에 많은 사람들이 이미지 생성 AI로 우키요에를 출력시키려 했음에도 불구하고, 우키요에 같은 이미지를 생성하는 것은 어려웠습니다.

 

이번에 Sakana AI가 개발한 Evo-Ukiyoe와 Evo-Nishikie는, 동사가 개발한 일본어 대응 화상 생성 모델 「Evo-SDXL-JP」 를 바탕으로, 리츠메이칸 대학 아트 · 리서치 센터가 소장한 우키요에의 디지털 화상 2만 4038장에 의한 학습 트레이닝을 실시한 AI 모델입니다.

Evo-Ukiyoe 개발을 위해, Sakana AI는 우선 구체적인 예시를 주고 학습시키는 Few-shot 프롬프팅이라는 기법으로 우키요에 이미지의 캡션을 생성했습니다. 그리고, 이미지 데이터와 캡션의 페어를 학습 데이터 세트로서 베이스 모델의 Evo-SDXL-JP를 트레이닝해, LoRA에 의한 파인 튜닝을 실시했습니다.

이렇게 만들어진 Evo-Ukiyoe는 벚꽃, 후지산, 기모노, 새 등 우키요에에서 자주 다루는 요소를 프롬프트 하여 우키요에에 가까운 이미지를 생성할 수 있습니다. 한편, PC나 햄버거 등 에도 시대에는 존재하지 않았던 것을 프롬프트로 사용하면, 화상은 생성할 수 있지만 우키요에답지 않은 것이 될 가능성이 있습니다.

예를 들어, 「식물과 꽃이 있다. 나비가 날고 있다. 최고 품질의 야(輻)노 우키요에」 라는 프롬프트를 사용하면 아래와 같은 그림이 됩니다. 덧붙여, 「야(輻)노 우키요에」 라는 것은 학습 시에 사용한 특수 토큰, 즉 특정 기능을 부여하기 위해, 일반 단어와는 다른 학습을 시킨 토큰입니다.

「학이 정원에 서 있다. 눈이 내리고 있다. 최고 품질의 야(輻)노 우키요에」 라는 프롬프트를 사용하면 이런 느낌.

그리고 다음은 「기모노를 입고 있는 고양이가 정원에서 차를 마시고 있다. 최고 품질의 야(輻)노 우키요에」 라는 프롬프트로 출력한 결과입니다.

또 하나의 생성 AI인 Evo-Nishikie는, Evo-Ukiyoe를 베이스로 하고, 우키요에 이미지에 있는 벌레 먹은 부분이나 오염을 제거한 학습 데이터를 세트로 한 모델로, 墨摺絵(스미즈리에) 같은 단색의 우키요에를 多色摺(다쇼쿠즈리)의 우키요에로, 이른바 니시키에로 만들 수 있습니다.

다음은 리츠메이칸 대학 아트 리서치 센터에 소장되어 있던 단색의 우키요에(왼쪽)를 Evo-Nishikie로 컬러로 바꾼 것입니다.