시카고 대학의 연구팀이 AI에 의한 이미지 학습을 방지하는 도구인 「Nightshade」를 개발하고 있습니다. Nightshade를 이용하면 이미지의 외형을 크게 바꾸지 않고도 AI에 의한 학습을 막는 것이 가능하다는 것입니다.
Meet Nightshade, the new tool allowing artists to 'poison' AI models | VentureBeat
Meet Nightshade, the new tool allowing artists to ‘poison’ AI models with corrupted training data
Nightshade was developed by University of Chicago researchers under computer science professor Ben Zhao and will be added as an option to...
venturebeat.com
이미지 생성 AI의 연구가 급속히 진행되고 있는 가운데, 이미지 생성 AI의 학습에 자신의 작품을 사용하고 싶지 않은 사람들을 위한 학습방지 툴의 개발도 활발히 이루어지고 있습니다.
연구팀은 Nightshade가 처리한 이미지를 '독(Poison)'으로 표현합니다. Nightshade는 개의 이미지를 고양이로 오인시키는 등, 이미지에 특정 피사체가 포함되어 있다고 오인시키는 처리가 가능합니다. 또한 Nightshade에서 고양이로 오인되도록 처리한 개의 이미지를 학습한 AI는 "개"를 출력하라는 지시를 받아도 "고양이"를 출력해 버리는 상태가 되어 버립니다.
Nightshade로 처리한 이미지를 Stable Diffusion XL에 학습시킨 예시가 아래입니다. Nightshade로 처리된 이미지를 50장 학습한 경우 개의 묘사가 불안정해지고, 100장 ~ 300장 학습한 경우는 「Dog」라고 지시해도 고양이를 출력하게 됩니다.
그 밖의 예시로, "개에서 고양이"라는 변화 이외에 "차에서 소", "핸드백에서 토스터", "모자에서 케이크" 등의 변화도 가능합니다.
또한 Nightshade의 효과는 처리 대상 이미지에 포함된 특징과 유사한 특징을 가진 이미지에도 영향을 미칩니다. 예를 들어 "Fantasy art"라는 프롬프트를 저해하도록 처리한 경우, "A painting by Michael Whelan(마이클 윌란의 그림)", "A dragon(드래곤)", "A castle in the Lord of the Rings (반지의 제왕 성)」이라는 프롬프트도 저해됩니다.
연구팀은 가까운 시일 내에 Nightshade를 Glaze의 옵션으로 사용할 수 있도록 할 예정입니다.
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| 드디어 Windows의 「그림판」에도 AI가 탑재되어 이미지 생성이 가능 (5) | 2023.12.01 |
|---|---|
| AI가 1장의 사진으로부터 고해상도 3DCG 모델을 생성해주는「Human-SGD」 (1) | 2023.11.27 |
| 텍스트나 이미지로부터 동영상을 생성하는 AI 「Stable Video Diffusion」을 Stability AI가 공개 (4) | 2023.11.23 |
| Meta가 문장으로부터 위화감 없는 동영상을 생성하는 AI 「Emu Video」를 발표 (56) | 2023.11.21 |
| AI Picasso가 상용 AI 아트용 이미지 생성 AI 'Emi'와 'Manga Diffusion'을 무료로 공개 (0) | 2023.10.16 |
| Google 검색 바에서 AI 이미지를 생성할 수 있는 'Search Generative Experience'가 등장 (0) | 2023.10.16 |
| Adobe의 이미지 생성 AI 「Firefly」의 AI 모델이 「Firefly Image 2 Model」로 업데이트 (0) | 2023.10.12 |
| 프롬프트의 글꼴, 색상, 스타일, 각주를 수정하여 이미지를 조정하는 기술이 등장 (0) | 2023.10.07 |
