고급 이미지 인식 AI는 필기나 스티커 등의 '적대적 이미지'에 쉽게 속아버릴 수 있다

 

AI로 사진에 찍혀있는 사람이나 사물을 자동으로 식별하여 지금까지는 인간만 가능하던 다양한 작업을 기계도 할 수 있게 되었습니다. 그러나 첨단 AI조차 필기 노트만으로 간단하게 속여버리는 것을 발견했습니다. 이러한 이미지 인식 AI의 뜻밖의 약점을 IT계 뉴스 사이트 The Verge가 지적하고 있습니다.

OpenAI 's state-of-the-art machine vision AI is fooled by handwritten notes - The Verge

OpenAI’s state-of-the-art machine vision AI is fooled by handwritten notes

AI 개발 연구소인 OpenAI는 이미지 분류 모델 "CLIP"을 발표했습니다. CLIP은 이미지뿐만 아니라 자연 언어에서 이미지 표현을 학습하는 것이 특징으로, '사과'라는 문자를 보고 사과의 이미지를 떠올린다는, 인간에게는 당연한 일을 AI도 가능하게 했습니다.

그러나 문자에서 이미지를 떠올리고 태그 하여 분류하는데 도움이 된다는 것은, 이미지에 직결되어 버리기 쉽다는 약점을 갖게 됩니다. 따라서 CLIP은 필기로 쉽게 AI를 속이는 '활판 인쇄 공격'이 유효하다고 OpenAI도 인정하고 있습니다.

예를 들어, 아래 그림의 왼쪽은 사과로 잘 인식하지만, 「iPod」라고 메모를 붙여놓은 사과는 거의 iPod로 인식되어 버리고 있습니다. OpenAI는, 이 인식 오류가 고도의 추상화 분류를 실시하면서 일어나기 때문에, "추상화의 오류"라고 명명하고 있습니다.

AI의 이미지 인식을 속이는 방법은 지금까지도 많이 연구되고 있습니다. 예를 들어, Google 연구원은 2018년에 화상 인식 AI를 단 1장의 스티커로 혼동시키는 방법을 발표했습니다. 실제로 1장의 스티커를 두는 것만으로 AI에게 바나나를 토스터로 오인시키는 실험을 다음의 영상에서 확인할 수 있습니다.

 

또한 카메라로 촬영한 주변의 영상에서 화상 인식을 통해 자동운전을 하는 테슬라의 시스템에 대해, 바닥의 흰 선을 흉내 낸 스티커를 도로에 붙이는 것만으로 차선을 마음대로 변경하는 데 성공했다는 보고도 있습니다.

 

Three Small Stickers in Intersection Can Cause Tesla Autopilot to Swerve Into Wrong Lane

자동 운전 모드에 있는 테슬라를 도로에 붙인 작은 스티커 1장으로 마음대로 차선을 변경시키는 실험입니다. 영상의 1분 20초쯤에서 볼 수 있습니다.

AI의 이미지 인식을 속이는 '적대적 이미지'의 존재는 미래에 이미지 인식 응용 시스템의 취약점이 될 수 있습니다.

또한 Google의 이미지 인식 AI가 흑인을 고릴라로 인식하여 개발자가 사과하는 사건도 있었듯이, 이미지에 인간이 직접 태그 하는 것은, 안이한 이미지 결합으로 이어져 AI가 편견을 내포할 가능성도 있습니다.

 

사실, CLIP에서는 '테러'와 '중동'을 연결하는 뉴런이나, '라틴 아메리카'와 '이민'을 연결하는 뉴런, '검은 피부의 사람들'과 '고릴라'를 연결하는 뉴런이 발견되고 있습니다. OpenAI는 이러한 편견으로 연결되는 이어짐은 거의 가시화되지 않기 때문에 사전 예측이 어렵고, 수정이 어려울 수 있다고 말합니다.

CLIP은 어디까지나 실험적인 시스템이며, OpenAI는 "우리의 CLIP에 대한 이해도는 아직 개발 단계입니다"라고 코멘트했습니다. The Verge는 "우리의 삶을 AI에 맡기기 전에, 우선 AI를 분해하여 그 구조를 이해할 필요가 있습니다."라고 주장했습니다.