일러스트나 사진 작품에 독을 심어 AI 학습을 방해하는 학습방지 툴 「Nightshade」

 

시카고 대학의 연구팀이 AI에 의한 이미지 학습을 방지하는 도구인 「Nightshade」를 개발하고 있습니다. Nightshade를 이용하면 이미지의 외형을 크게 바꾸지 않고도 AI에 의한 학습을 막는 것이 가능하다는 것입니다.

Meet Nightshade, the new tool allowing artists to 'poison' AI models | VentureBeat

Meet Nightshade, the new tool allowing artists to ‘poison’ AI models with corrupted training data

이미지 생성 AI의 연구가 급속히 진행되고 있는 가운데, 이미지 생성 AI의 학습에 자신의 작품을 사용하고 싶지 않은 사람들을 위한 학습방지 툴의 개발도 활발히 이루어지고 있습니다.

연구팀은 Nightshade가 처리한 이미지를 '독(Poison)'으로 표현합니다. Nightshade는 개의 이미지를 고양이로 오인시키는 등, 이미지에 특정 피사체가 포함되어 있다고 오인시키는 처리가 가능합니다. 또한 Nightshade에서 고양이로 오인되도록 처리한 개의 이미지를 학습한 AI는 "개"를 출력하라는 지시를 받아도 "고양이"를 출력해 버리는 상태가 되어 버립니다.

Nightshade로 처리한 이미지를 Stable Diffusion XL에 학습시킨 예시가 아래입니다. Nightshade로 처리된 이미지를 50장 학습한 경우 개의 묘사가 불안정해지고, 100장 ~ 300장 학습한 경우는 「Dog」라고 지시해도 고양이를 출력하게 됩니다.

그 밖의 예시로, "개에서 고양이"라는 변화 이외에 "차에서 소", "핸드백에서 토스터", "모자에서 케이크" 등의 변화도 가능합니다.

또한 Nightshade의 효과는 처리 대상 이미지에 포함된 특징과 유사한 특징을 가진 이미지에도 영향을 미칩니다. 예를 들어 "Fantasy art"라는 프롬프트를 저해하도록 처리한 경우, "A painting by Michael Whelan(마이클 윌란의 그림)", "A dragon(드래곤)", "A castle in the Lord of the Rings (반지의 제왕 성)」이라는 프롬프트도 저해됩니다.

연구팀은 가까운 시일 내에 Nightshade를 Glaze의 옵션으로 사용할 수 있도록 할 예정입니다.