전자 워터마크로 AI 이미지를 추적하는 기술 「Tree-Ring Watermarks」

최근에는 AI가 생성한 콘텐츠에 워터마크를 넣어, 귀속을 나타내는 시도가 여럿 진행 중입니다. 이번에 새롭게, AI가 생성한 이미지를 추적 가능하게 하는 「Tree-Ring Watermarks(나이테 워터마크)」라는 기술을, 메릴랜드 대학의 박사 과정에서 컴퓨터 과학을 연구하고 있는 유신 웬 씨 연구팀이 발표했습니다.

[2305.20030] Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust
https://arxiv.org/abs/2305.20030

최근 고품질의 이미지 생성 AI가 잇따라 등장하고 있으며, "악의적인 가짜 이미지를 생성하여 사람들을 속이기 쉬워졌다"는 문제가 대두되고 있습니다. 이 문제에 대처하기 위해 제창되고 있는 것이, 「AI가 생성한 이미지에 전자 워터마크를 넣어 식별 가능하게 한다」라는 구조입니다.

전자 워터마크는 인간의 눈으로는 모르는 특수 조작을 통해 검출 가능한 마크이며, 「이 이미지는 AI에 의해 생성되었다」라는 것을 식별하는데 도움이 됩니다. AI 생성 이미지에 전자 워터마크를 넣는 견고한 구조가 구축 · 보급된다면, 소셜 미디어나 보도 기관, AI 플랫폼 등이 이미지 출처를 특정해, 페이크 이미지로 인한 피해 경감이나 법 집행 기관에의 정보 제공 등이 가능해집니다.

기존의 전자 워터마크는 파일이 출력된 후에 워터마크를 추가하는 기법이 일반적입니다. 이에 대해 웬 씨의 연구팀은 AI가 이미지를 생성하는 프로세스 자체에 전자 워터마크 시스템을 통합하는 「Tree-Ring Watermarks」라는 기법을 고안했습니다.

확산 모델(diffusion model)을 채용하고 있는 Stable Diffusion 등의 이미지 생성 AI에서는, 초기값인 랜덤 노이즈 이미지로부터 서서히 노이즈를 제거해 가는 것으로, 최종적으로 깨끗한 이미지를 생성하고 있습니다.

Tree-Ring Watermarks는 이 이미지 생성 과정 중 초기값이 되는 랜덤 노이즈의 배열에 푸리에 변환(Fourier transform)에 근거하여 구축된 패턴인 「키」를 포함시킵니다. 이 키는 표준 생성 프로세스를 거쳐 무작위 노이즈가 깨끗한 이미지로 변환되어도 잠재적 레이아웃의 아주 작은 부분으로서 남아 있지만, 인간의 눈으로는 다른 무작위 생성 이미지와 구별할 수 없다는 것.

그러나 키가 내장된 이미지를 확산 모델에서 역방향으로 처리하여 원래의 랜덤 노이즈를 복원하면 키가 존재하는지 확인할 수 있습니다. 키는 푸리에 공간에 새겨진 패턴이기 때문에, 트리밍이나 색의 변경, 반전, 회전, 노이즈 추가 등의 편집에 대해서도 기존의 방법보다 훨씬 견고하다고 연구팀은 말하고 있습니다.
 

실제로 연구팀은 Tree-Ring Watermarks를 사용한 검증 테스트를 실시해, 이미지 품질 스코어에의 영향이 무시할 정도인 것, 변환에 대한 높은 견고성, 검출에 있어서의 낮은 위양성률 등을 확인했다는 것입니다.

디지털 콘텐츠에 넣는 전자 워터마크에서는, 「일반적인 유저가 봐도 눈치채지 못할 것」, 「악의가 있는 인물이 파일을 가공해도 손실되지 않을 것」, 「파일이 가공되어 있어도 높은 정밀도로 검출 할 수 있을 것」 등이 요구됩니다. Tree-Ring Watermarks는 이러한 요구 사항을 충족하고 있으며, AI 생성 이미지의 출처를 추적하는 데 도움이 될 것이라고 연구팀은 기대하고 있습니다.

Tree-Ring Watermarks의 구현에 있어서 새로운 AI를 만들 필요는 없고, API를 통해 기존의 이미지 생성 AI에 짜 넣을 수 있다는 것. 확산 모델의 반전 처리를 실행하려면 AI 모델의 파라미터가 필요하기 때문에, 검증할 수 있는 것은 설계상 AI 모델의 소유자뿐이라고 합니다.

소셜 뉴스 사이트 Hacker News에서는 "서비스에서 뭔가를 추적할 수 있다면 유용합니다. 거기에 프롬프트나 생성자의 신원 등 메타데이터를 담으면 아동 성학대 콘텐츠에서 정치적 딥페이크 까지 모든 것에 대항할 수 있는 강력한 도구가 될 것입니다."라고 적고 있습니다.

Tree-Ring Watermark: Invisible Robust Fingerprints of Diffusion Images | Hacker News
https://news.ycombinator.com/item?id=36426136

GitHub - YuxinWenRick/tree-ring-watermark
https://github.com/YuxinWenRick/tree-ring-watermark

GitHub - YuxinWenRick/tree-ring-watermark