AI 연구단체 Optic 을 비롯한 다양한 단체가 AI에 의해 생성된 이미지를 자동 검출하는 툴을 제공하고 있습니다. 이러한 여러 AI 검출 도구를 사용한 테스트 결과를 해외 미디어 뉴욕 타임즈가 공개하고 있습니다.
How Easy Is It to Fool A.I.-Detection Tools? - The New York Times
How Easy Is It to Fool A.I.-Detection Tools?
We tested five services that claim to detect what is real and what isn’t.
www.nytimes.com
뉴욕 타임즈에 따르면 Optic이 공개하는 「AI or Not」 등의 AI 검출 툴은 고급 알고리즘을 사용하여 콘텐츠를 분석하고 미묘한 텍스처와 픽셀의 차이를 픽업하여 AI가 생성한 이미지와 인간이 촬영한 이미지를 구별하고 있다는 것.
뉴욕 타임즈는 현재 AI 검출 툴의 유효성을 평가하기 위해 100장 이상의 AI 생성 이미지와 실제 이미지를 AI 검출 툴에 투입하여 테스트를 실시했습니다. 사용된 툴은 「AI or Not」외, 「AI Image Detector」, 「Illuminarty」, 「Hive」, 「Sensity」의 4종이 사용되었습니다.
뉴욕 타임즈가 실시한 테스트 결과는 다음과 같습니다. 아래 이미지는 MidJourney에 의해 생성된 일론 머스크가 로봇과 키스하는 이미지입니다.
이 이미지를 5종류의 AI 검출 툴에 투입한 결과, AI or Not나 Hive, Sensity는 올바르게 「AI가 생성한 이미지」라고 구분할 수 있었지만, 매튜・브라운씨에 의해 제작된 AI Image Detector(Umm-maybe)와 Illuminarty는 "진짜"라고 판단했습니다. 뉴욕 타임즈에 따르면, AI 검출 도구는 현실적으로 불가능한 상황이라도, 그것을 무시하고 이미지의 선명도나 콘트라스트, 픽셀의 배치 방법에 이상한 패턴이 없는지만 조사하고 있다고.
아래의 미소를 짓는 수녀의 이미지는 AI에 의해 생성된 이미지입니다.
테스트 결과, Illuminarty를 제외한 4개의 검출 툴이 「AI가 생성한 이미지다」라고 간파했습니다.
다음은 AI가 생성한 펜타곤 근처 화재 이미지 입니다.
'펜타곤 근처 폭발' 가짜 이미지가 트위터 인증 계정으로 확산되어 주식시장 혼란
'펜타곤 근처 폭발' 가짜 이미지가 트위터 인증 계정으로 확산되어 주식시장 혼란
미국 국방부청사(펜타곤) 부근에서 폭발이 일어났다는 일부 보도로, 미국 주식시장에서 다우공업주 30 종목의 평균이 약 80포인트 하락하는 등 시황이 매우 혼란했습니다. 나중에 이 보도가 잘못
doooob.tistory.com
이 이미지는 Hive를 제외한 모든 감지 도구가 "진짜 이미지"라고 판단합니다.
아래는 사진작가 데이먼 윈터 씨가 주간과 야간에 같은 장소에서 촬영한 이미지를 합성한 것입니다.
이 이미지에 대해서는 AI Image Detector(Umm-maybe)를 제외한 모든 도구가 "진짜 이미지"로 구분했습니다.
인공지능에 의해 생성된 이 이미지는 극우 소셜 미디어들 사이에 퍼져 '도서관에서 행해진 악마 숭배 의식의 이미지'라고 주장되어 왔습니다.
테스트 결과, AI Image Detector를 제외한 4가지 도구가 올바르게 "AI가 생성한 이미지"라고 판단했습니다.
일몰 시 해변에 몰려오는 파도의 이미지는 Absolutely Ai 에 의해 생성된 이미지입니다. 이 이미지는 2023년 2월 digiDirect 가 주최하는 사진 콘테스트에서 우승했습니다.
이 이미지에 대해 AI or Not과 Hive만 "AI가 생성했다"라고 올바르게 판단할 수 있었습니다.
다음은 AI에 의해 생성된 해리포터의 배우 다니엘 래드클리프 씨와 비슷한 남성의 이미지입니다.
이 이미지에서 Illuminarty를 제외한 모든 도구는 AI가 생성한 이미지로 올바르게 판단했습니다.
다음 이미지는 사진작가 애슐리 길버트슨이 촬영한 풍경 사진입니다.
AI Image Detector만 AI가 생성한 이미지라고 잘못 판단합니다.
그러나 때로는 아주 비현실적인 이미지라도 AI 감지 도구가 실수를 저지를 수 있습니다. 이 이미지는 AI에 의해 생성된 "거대한 네안데르탈인이 남녀 옆에 서있는 빈티지 이미지"입니다.
이 이미지의 경우 모든 감지 도구가 "진짜 이미지"라고 잘못 판단합니다. Hive의 창설자 겸 CEO인 케빈 구오 씨에 의하면, 생성된 원본 이미지로부터 해상도를 저하시킨 이미지나, 저품질의 이미지를 판단하는 것은 어렵다고 합니다.
게다가 Adobe가 2023년 5월에 발표한 「Generative Fill」기능은, AI에 의해 기존 이미지의 연속을 생성할 수 있는 Photoshop의 새로운 기능입니다. 그런 제네레티브 fill을 사용하여 조 바이든 미국 대통령의 초상화를 확대한 이미지가 아래.
이 예에서는 Sensity를 제외하고 모두 "진짜 이미지"라고 판단하고 있습니다.
뉴욕 타임즈는 또한 회화에 대해서도 테스트를 실시하고 있어, 아래는 잭슨 폴록에 의해 그려진 「Convergence(통합·융합·복합)」입니다.
Convergence는 모든 감지 도구가 "인간이 그린 그림"이라고 올바르게 판단합니다.
한편 MidJourney를 사용하여 생성된 이 그림은 Convergence와 마찬가지로 다채로운 페인트가 흩어진 그림입니다.
이 이미지는 AI Image Detector를 제외한 모든 탐지 도구가 "AI에 의해 생성된 그림"이라고 올바르게 판단하는 데 성공했습니다.
그러나 대부분의 AI 검출 툴이 올바르게 판단할 수 있는 이미지라도 육안으로는 거의 보이지 않는 미묘한 텍스처로 픽셀 분석을 방해함으로써 쉽게 툴을 속일 수 있다고 합니다. 다음 이미지는 MidJourney를 사용하여 생성된 이미지입니다.
이 이미지에 대해서는 Illuminarty를 제외한 모든 도구가 AI가 생성한 이미지로 올바르게 판단하고 있습니다.
그러나 원본 이미지(왼쪽)에 대해 확대하지 않으면 모를 정도로 픽셀을 가공한 이미지(오른쪽)는 AI에 의해 생성되었을 가능성이 3.3%라는 부정확한 결과가 나왔습니다.
펜실베이니아 주립대학의 사회적 책임 인공지능센터 S. 샴 순더 씨는 "웹사이트는 백엔드에 AI 검출 도구를 통합하여 AI에 의해 생성된 이미지를 자동으로 식별하고 사용자에게 경고나 공유 방법에 대한 제한 등을 제공해야 한다."라고 주장합니다. 또한 순더 씨는 "AI 검출 도구만이 유일한 방어 수단이 되어서는 안 된다. AI를 이용한 이미지를 생성하는 인물은 워터마크를 작품에 포함시킬 필요가 있다."라고 말했습니다.
한편 노스웨스턴 대학에서 컴퓨터 과학의 준교수를 맡은 닉 디아코프로스 씨는 "이미지가 AI에 의한 것인지 인간에 의한 것인지 판별하는 것은 중요하지 않으며, 어떠한 특징이 AI에 의해 생성된 이미지인지, 혹은 인간에 의한 것인지를 적절히 나타낼 수 있는 인터페이스를 갖춘 AI 시스템의 구축이 필요하다."라고 주장하고 있습니다.
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| Meta가 이미지를 텍스트로, 텍스트를 이미지로 변환하는 AI 「CM3leon」 발표 (14) | 2023.07.19 |
|---|---|
| 스케치를 이미지로 변환해주는 「Stable Doodle」을 Stability AI가 출시 (3) | 2023.07.17 |
| 「Stable Diffusion XL(SDXL)」의 기술 리포트 공개 (3) | 2023.07.08 |
| 이미지 배경삭제 오픈 소스 라이브러리 「background-removal-js」 (3) | 2023.07.03 |
| AI로 이미지를 움직여 수정하는 툴 「DragGAN」의 소스 코드＆데모 공개 (3) | 2023.06.27 |
| 「Stable Diffusion」의 고성능 모델 「SDXL 0.9」를 Stability AI가 발표 (3) | 2023.06.26 |
| 이미지 생성 AI Stable Diffusion, Adobe Firefly, Midjourney 등의 특징을 비교 (2) | 2023.06.22 |
| 이미지나 동영상의 배경을 제거(누끼 따기)하는 AI 툴「Background remover AI」 (7) | 2023.06.20 |
