딥 페이크로 합성된 얼굴을 분별하는 열쇠는 '눈빛'

 

AI 기술을 이용하여 가상의 이미지나 영상을 합성하는 딥 페이크는 사람의 눈으로는 진위를 식별하기 매우 어려운 단계까지 발전하였고, 존재하지 않는 인물의 얼굴 사진도 쉽게 만들어내기 때문에 SNS 등에서도 큰 문제가 되고 있습니다. 그런 딥 페이크의 얼굴 사진을 눈동자에 비친 빛의 반사로 간파하는 기술을 뉴욕 주립대 버펄로 캠퍼스의 연구팀이 개발했습니다.

EXPOSING GAN-GENERATED FACES USING INCONSISTENT CORNEAL SPECULAR HIGHLIGHTS
(PDF 파일) https://arxiv.org/pdf/2009.11924.pdf

New AI tool detects Deepfakes by analyzing light reflections in the eyes

Scientists developed a clever way to detect Deepfakes by analyzing light reflections in the eyes

아래는 실제 사람의 얼굴(왼쪽)과 적대적 생성 네트워크(GAN)에 의해 생성된 가상 인물의 얼굴(오른쪽)입니다. 언뜻 모두 진짜로 보이지만, 눈을 확대한 아래 그림을 잘 보면 각막에 반사된 빛의 모양이 진짜는 좌우가 같은 것에 비해 가짜는 비대칭입니다.

 

두 눈은 같은 것을 보고 있기 때문에, 진짜 얼굴은 좌우의 눈에 비치는 것도 일치하는 것이 보통입니다. 그러나 대부분의 경우, GAN은 이 유사성을 정확하게 재현하기 어렵습니다. 따라서 눈의 위치를 ​​매핑하고, 두 눈에 비친 빛을 분석하여 얼굴 사진이 진짜인지 가짜인지를 정밀하게 식별할 수 있다고 연구진은 설명하고 있습니다.

 

다음은 연구팀이 개발한 판별 도구로 진짜 인간의 두 눈(위쪽)과 딥 페이크의 두 눈(아래쪽)을 분석한 결과입니다. 판별 도구는 진짜 얼굴 사진의 IoU 점수를 "0.5824 ~ 0.8406"로 평가했지만, 딥 페이크로 합성된 얼굴 사진은 "0.2429 ~ 0.3512"로 평가했습니다.

 

이 판별법은 한쪽 눈만 사진에 찍힌 경우는 작동하지 않을 뿐만 아니라 피사체가 카메라를 보고 있지 않으면 정확도가 크게 떨어진다는 단점도 안고 있습니다. 또한 수동으로 눈동자의 빛을 수정하여 결정을 어렵게 만들 수도 있다는 것.

연구팀은 "현 단계에서는 매우 정교한 딥 페이크에 의한 사진을 검출할 수 없지만, 많은 어설픈 딥 페이크 사진들은 알아낼 수 있었습니다."라고 말했습니다. 향후 이 방법의 효과를 한층 더 높이는 연구를 진행할 예정이라고 합니다.