OpenAI가 "AI 생성 이미지인지 여부를 구별하는 도구"를 개발 중

OpenAI가 2024년 5월 7일, 디지털 콘텐츠의 내력을 추적하는 기술의 표준화 단체  「Coalition for Content Provenance and Authenticity(C2PA)」 에 참가한다고 발표했습니다. Adobe, Microsoft, Google, 소니 등에 이어 C2PA 운영에 참여한 OpenAI는 향후 전자 워터마크나 AI 이미지 감지 도구 등의 기술 구현에 임할 것이라고 표명하고 있습니다.


OpenAI Joins C2PA Steering Committee - C2PA
https://c2pa.org/post/openai_pr/

OpenAI says it’s building a tool to let content creators ‘opt out’ of AI training | TechCrunch

OpenAI says it's building a tool to let content creators 'opt out' of AI training | TechCrunch

그리고 이번에 공식적으로 C2PA에 참가한 OpenAI는 디지털 콘텐츠의 출처 위장에 대한 내성을 높이고 콘텐츠의 무결성을 강화하는 새로운 내력 증명 기술을 개발할 것을 발표했습니다.

구체적으로는, 디지털 콘텐츠에 제거하기 어렵고 눈에는 보이지 않는 마크를 붙이는  「조절 내성 전자 워터마크(tamper-resistant watermarking)」 나, 해당 콘텐츠가 생성 모델에 의해 만들어졌는지 여부를 AI로 평가하는 툴인  「검출 분류기(detection classifiers)」 등을 들 수 있습니다.

반응형

이니셔티브의 일환으로 OpenAI는 2024년 5월 7일부터 연구기관을 대상으로 DALL-E의 검출 분류기를 배포하는 테스터 프로그램에 응모를 접수하기 시작했습니다. 이 "DALL-E 검출 분류기"는 이미지가 DALL-E 3에서 유래할 가능성을 측정하는 도구로 API로 배포될 예정입니다.

「DALL-E 검출 분류기」 는 초기의 사내 검증으로, DALL-E 3에 의해 생성된 이미지의 98%를 식별한 것 외, AI에 의해 생성되지 않은 화상의 오검지율은 0.5% 미만이라는 결과를 보여준 것입니다.

OpenAI는 액세스 프로그램을 통해 DALL-E 검출 분류기의 유효성과 현실 사용 사례에서의 유효성을 검증하고, AI에 의해 생성된 콘텐츠에 대한 이해를 깊게 하고, AI의 책임 있는 사용에 필요한 사항을 철저하게 평가하고 있습니다.

이 외에도 OpenAI는 콘텐츠를 창출하는 크리에이터가 AI에 의한 교육을 옵트아웃할 수 있게 해주는 툴 "Media Manager"를 개발 중이라는 것이 여러 미디어에 의해 보도되고 있습니다.

전해지는 내용에 따르면 제작자와 콘텐츠 소유자는 Media Manager를 사용하여 자신의 작품을 명시하고 그 작품을 AI 연구 및 교육에 사용할지 또는 사용하지 않을지 지정할 수 있다는 것.

Media Manager는 2025년에 출시될 예정입니다.