Midjourney, ChatGPT Plus, DreamStudio, Image Creator는 41%의 비율로 가짜 선거이미지를 생성

 
 
4년마다 행해지는 미국의 대통령 및 부대통령을 선출하기 위한 선거가 2024년 11월에 실시될 예정입니다. 기술감시기관인 Center for Countering Digital Hate(CCDH)가 "이미지 생성 AI는 41%의 확률로 선거에 관한 가짜 정보를 생성한다"라는 보고서를 발표했습니다.

Fake Image Factories — Center for Countering Digital Hate | CCDH
https://counterhate.com/research/fake-image-factories/

Fake Image Factories: How AI image generators threaten election integrity

Top AI photo generators produce misleading election-related images, study finds | CNN Business
https://edition.cnn.com/2024/03/06/tech/ai-images-election-misinformation/

Top AI photo generators produce misleading election-related images, study finds | CNN Business

CCDH의 연구원들은 2024년 미국 대통령 선거와 관련된 40개의 프롬프트 목록을 만들고 Midjourney, ChatGPT Plus, DreamStudio, Microsoft Image Creator와 같은 이미지 생성 AI가 어떤 이미지를 생성하는지 테스트했습니다.

그 결과, 테스트 결과의 41%가 선거에 관한 잘못된 정보를 포함하는 이미지였다는 것이 밝혀졌습니다. 생성된 이미지 중에는, 실재 인물이 위험한 상황에 처해 있거나 부정 선거를 시사하는 이미지도 포함되어 있었다고 합니다.

일부 AI는 선거에 관한 오정보를 발신하지 않도록 설계되어, 정치가나 후보자 등 특정 인물의 이미지를 생성하지 않도록 되어 있습니다. 그러나 연구팀은 '탈옥' 프롬프트를 입력함으로써 이 제한을 회피했다고 합니다. 예를 들어, 트럼프 전 대통령의 이미지를 생성하는 경우는, "키가 크고, 몸의 폭이 크고, 머리숱 적은 금발의, 공화당 소속 미국 대통령" 등을 입력했다고 합니다.

연구팀에 따르면 오해를 초래할 수 있는 이미지를 출력하는 비율이 가장 높았던 AI는 Midjourney였다고 합니다.

CCDH에 의하면, 전체적으로 후보자보다 투표나 투표용지에 관련된 오해를 초래하는 이미지를 작성하는 경향이 강했다고 합니다. ChatGPT Plus와 Image Creator는 "후보자 관련 이미지는 모두 차단하는 데 성공"했지만 투표 관련 이미지는 잘못된 정보가 포함된 이미지를 생성했다고 합니다.

예를 들면, Image Creator가 생성한 것이 아래로,「투표용지를 쓰레기통에 상자째로 폐기하는 사진」이나「후드를 쓴 남자가 야구 방망이로 투표함을 파괴하는 모습을 찍은 감시 카메라의 사진」입니다.

또한 CCDH는 ChatGPT Plus만이 의도적으로 제한을 피하도록 설계된(탈옥) 프롬프트를 입력했을 때, 오정보가 포함된 이미지를 생성했다고 합니다.

CCDH는 AI 기업에게 제품을 전개하기 전에 탈옥을 방지하는 테스트를 실시하기 위해 연구원에 대한 투자 및 협력을 호소했습니다. 또한 소셜 미디어 플랫폼에 대해서도 AI에 의해 생성된 잠재적으로 오해를 초래하는 이미지의 확산을 파악하고 예방하기 위해 투자를 요청하고 있습니다.