애니메이션 특화 데이터 세트 「Sakuga-42M」이 등장

 

AI 모델을 이용해 동영상을 생성하는 도구는 다수 있지만, 리얼 동영상이 아닌 2차원 애니메이션을 생성하는 도구는 거의 없습니다. 그런 상황을 개선하기 위해 애니메이션에 특화된 대규모 데이터 세트로 만들어진 것이 Sakuga-42M 입니다.

[2405.07425] Sakuga-42M Dataset: Scaling Up Cartoon Research
https://arxiv.org/abs/2405.07425

Sakuga-42M Dataset: Scaling Up Cartoon Research
https://arxiv.org/html/2405.07425v1

Stable Video Diffusion(SVD)이나 Sora 등의 동영상 생성 AI의 등장에 의해, 「대규모 데이터 세트를 사용해 AI 모델을 트레이닝해, 자연스러운 동영상을 생성」 하는 것은 눈부신 진화를 이루고 있습니다. 그러나, 이것은 어디까지나  「실사풍의 동영상」 에만 적용되는 것이고, 애니메이션 분야에서는 그다지 효과적인 진척이 보이지 않는다고, 앨버타 대학의 Zhenglin Pan 씨의 연구팀은 지적하고 있습니다. 이는 AI 모델을 교육하는 데 사용되는 데이터 세트에 애니메이션만 사용되는 경우가 거의 없기 때문입니다.

그래서, 대규모 애니메이션만 있는 데이터 세트로 만들어진 것이  「Sakuga-42M」 입니다. Sakuga-42M에는 다양한 스타일 · 지역 · 연대의 애니메이션 동영상이 포함되어 있어, 키프레임의 총수는 4200만 점으로 되어 있습니다. 동영상 데이터에는 텍스트 설명이 포함되어 있을 뿐만 아니라, 콘텐츠 분류를 위한 태깅 등도 이뤄지고 있다고 합니다. 콘텐츠 분류의 예는 다음과 같습니다. 러프화나 서양풍, 아시아풍, 셀룩, 일러스트풍 등으로 애니메이션 타입별로 분류되고 있습니다.

이 밖에 "금발, 빨간 머리, 갈색 머리 소녀들이 아이돌 의상을 입고 스테이지에서 일렬로 나란히 춤추고 있다"는 등의 동영상 내용을 설명하기 위한 문장 등도 포함되어 있습니다.

덧붙여 연구팀은 Sakuga-42M용의 데이터로서 수집한 애니메이션의 긴 동영상을  「경계 검출」,  「동영상 분할」,  「키프레임 검출」 기술을 이용해 짧은 동영상으로 분할하고, 짧은 동영상의 설명을 대규모 언어 모델(LLM)을 사용해 자동으로 출력하는 것으로, AI 모델의 트레이닝에 사용할 수 있는 정보량을 늘리고 있다고 합니다.

이하는 Sakuga-42M에 포함된 데이터의 내역을 정리한 그림.

「CLIP DURATIONS(동영상 길이)」 는
쇼트(키프레임수 12 이하)가  「23.02%」,
미디엄(키프레임수 12~24)가  「27.51%」,
롱(키프레임수 24~ 48)이  「27.00%」,
엑스트라(키프레임수 48~96)가  「15.99%」,
인피니트(키프레임수 96 이상)가  「6.48%」 입니다.

「DESCRIPTION LENGTH(설명문의 길이)」 는
쇼트(20단어 미만)가  「9.32%」,
미디엄(20~40단어)가  「29.27%」,
롱(40~60단어)가  「54.20%」,
인피니트(60단어 이상)가  「7.22%」 입니다.

반응형

이 외에도 「ASTHETIC SCORE(미적 스코어)」,  「DYNAMIC SCORE(동적 스코어)」,  「TAXONOMY(분류)」에 관한 데이터도 포함되어 있습니다. 덧붙여 연구팀에 의하면 Sakuga-42M은 기존의 모든 애니메이션 관련 데이터 세트를 맞춘 사이즈를 넘는 데이터 세트가 되었다고 합니다.

또한 Sakuga-42M은 Creative Commons 4.0의 표시 - 비영리 - 상속 라이센스 하에 GitHub에 공개되어 있습니다. 학술연구 목적으로만 이용 가능하며 데이터세트에 포함된 이미지나 동영상의 저작권은 각각의 저자에게 귀속한다는 면책사항도 있습니다.

GitHub - zhenglinpan/SakugaDataset: Official Repository for Sakuga-42M Dataset
https://github.com/zhenglinpan/SakugaDataset

GitHub - zhenglinpan/SakugaDataset: Official Repository for Sakuga-42M Dataset