본문 바로가기
AI · 인공지능/이미지 생성 AI

일러스트 및 사진에 전자 워터마크를 넣어 AI의 학습을 막는 툴 「Mist」

by 두우우부 2023. 8. 29.
반응형

 

상하이교통대학의 연구팀이 발표한 「Mist」는 이미지에 보이지 않는 워터마크를 넣어, AI에 의한 이미지 인식을 어렵게 하고, 학습을 막는 처리 툴입니다.

Mist
https://mist-project.github.io/index_en.html

[2302.04578] Adversarial Example Does Good: Preventing Painting Imitation from Diffusion Models via Adversarial Examples
https://doi.org/10.48550/arXiv.2302.04578

Adversarial Example Does Good: Preventing Painting Imitation from Diffusion Models via Adversarial Examples

Recently, Diffusion Models (DMs) boost a wave in AI for Art yet raise new copyright concerns, where infringers benefit from using unauthorized paintings to train DMs to generate novel paintings in a similar style. To address these emerging copyright violat

arxiv.org

project/mist
https://github.com/mist-project/mist

GitHub - mist-project/mist

Contribute to mist-project/mist development by creating an account on GitHub.

github.com


연구팀은 실제로 Mist를 사용하여 얼마나 학습을 방해할 수 있는지 보여주는 이미지를 웹사이트에 공개했습니다.

미리 준비한 이미지에 가까운 결과를 출력할 수 있는 「Textual Inversion」에서 고흐의 '해바라기'를 읽게 한 경우가 아래입니다.

「Source image」가 원본 이미지,
「Image Generation from source image」가 원본을 읽어 들여 출력한 이미지,
「Misted image」가 Mist로 워터마크를 넣은 이미지,
「Image generation from Misted image」가 Misted image를 불러와 출력한 결과 이미지입니다. 

Source image와 Misted image는 겉보기에는 전혀 차이가 없지만, Misted image를 로드한 결과는 모자이크 패턴과 같아져 이미지가 깨진 것처럼 보입니다.



적은 이미지를 추가 학습시키는 「Dreambooth」의 경우는 이런 느낌. 보통이라면 고흐의 필치가 재현되고 있습니다만, Misted image를 불러오면 노이즈가 들어간 흐릿한 이미지가 출력되고 있습니다.



게임용 에셋을 만들어 내는 이미지 생성 AI 「Scenario.gg」는 이런 느낌. Misted image를 불러오면, 도안과 구도를 완전 무시한 이미지가 생성되고 있습니다.



고정밀도로 애니메이션 이미지를 생성할 수 있는 「NovelAI」로 Misted image를 읽어 들이면, 전체적인 색채는 계승되고 있지만, 역시 노이즈가 심해, 그림으로서는 실용성 없는 결과물이 생성되고 있습니다.



Mist는 100 스텝・512 ×512픽셀의 디폴트 설정으로 사용하면, 3분 이내에 워터마크 처리가 가능하다는 것으로, 빠른 처리가 어필되고 있습니다.



Mist는 단독으로 사용할 수 있으며, Stable Diffusion web UI에서도 사용할 수 있습니다. Mist는 GPL-3.0 라이선스이며 Windows 및 Linux 버전은 HuggingFace에서 공개됩니다.

mist-project/mist-win at main
https://huggingface.co/mist-project/mist-win/tree/main

mist-project/mist-win at main

huggingface.co


mist-project/mist-linux at main
https://huggingface.co/mist-project/mist-linux/tree/main

mist-project/mist-linux at main

huggingface.co

반응형