최근의 AI를 이용한 화상 생성 기술의 발달에 의해, 원본 이미지를 위화감 없이 변경해 가짜 정보를 만들어내는 것이 문제가 되고 있습니다. 그런 가운데, 매사추세츠 공과대학의 하디 살만 씨 일행이 눈에 보이지 않는 변경을 이미지에 더해 AI에 의한 가공을 방지하는 시스템「PhotoGuard」를 발표했습니다.
GitHub - MadryLab/photoguard : PhotoGuard: Defending Against Diffusion-based Image Manipulation
GitHub - MadryLab/photoguard: PhotoGuard: Defending Against Diffusion-based Image Manipulation
PhotoGuard: Defending Against Diffusion-based Image Manipulation - GitHub - MadryLab/photoguard: PhotoGuard: Defending Against Diffusion-based Image Manipulation
github.com
PhotoGuard: Defending Against Diffusion-based Image Manipulation – gradient science
PhotoGuard: Defending Against Diffusion-based Image Manipulation
Research highlights and perspectives on machine learning and optimization from MadryLab.
gradientscience.org
그들은 DALL-E와 같은 이미지 생성 AI에 의해 이미지의 생성과 가공이 쉬워진 한편, 악의적인 이미지 편집이 행해질 위험이 커졌다고 지적하고 있습니다. 아래의 이미지는 AI를 이용한 이미지 편집을 한 예입니다. 원래 이미지(Original Image)를 AI에 입력하고 "Two men ballroom dancing(두 남자가 사교춤을 춘다)"라는 문장(프롬프트)을 입력하면 오른쪽 이미지와 같이 위화감 없는 이미지로 변경되어 버립니다.
Salman이 개발한 PhotoGuard는 이미지에 보이지 않는 수정을 추가하여 AI에 의한 이미지 편집을 방해하는 시스템입니다. PhotoGuard를 적용한 이미지(Immunized Image)는 아래와 같이 원래의 이미지와 구별되지 않습니다만, AI에 위와 같은 지시를 주어도 부자연스러운 이미지로 완성됩니다.
PhotoGuard는 이미지 생성 AI의「데이터를 인코더로 처리하는 단계」와「노이즈를 이미지로 변환하는 단계」의 양쪽 단계에 대해 적대적 공격을 할 수 있습니다.「데이터를 인코더로 처리하는 단계」에 대한 공격을 행한 경우의 예가 아래입니다.
AI에게 "Dog under heavy rain and muddy ground(장대비가 내리는 진흙탕에 있는 개)"라는 프롬프트를 주면 PhotoGuard를 적용한 이미지(Edited Immunized Image)에서는 원래 이미지의 요소가 완전히 무시되고 프롬프트의 내용만 이미지에 반영됩니다.
그리고,「노이즈를 화상으로 변환하는 단계」에 대한 공격을 행한 예가 아래입니다.
AI에 의해 가공된 이미지(Edited Immunized Image)는 인간의 얼굴 이외의 부분이 노이즈 투성이가 되어「노이즈를 이미지로 변환하는 단계」가 올바르게 실행되지 않았음을 알 수 있습니다.
살만 씨에 의하면, PhotoGuard의 실행에는 대량의 메모리가 필요하다고 합니다. 앞으로는 메모리 절약과 AI 방해 기능의 강화를 목표로 개발이 진행될 예정입니다.
덧붙여「이미지의 외형을 변경하지 않고 변조를 방지하는 시스템」으로서는, 2021년에 개발된「ShieldMnt」도 존재합니다. ShieldMnt는 눈에 보이지 않는 워터마크를 이미지에 추가하는 기술로 이미지의 변경이나 전용을 방지할 수 있습니다.
