[알기쉬운 AI - 38] AI 보안 1 - AI에 보안이 필요한가?

 

이번에는 3 회에 걸쳐 AI 보안에 대해 소개하겠습니다. AI 보안은 매우 연구가 활발하게 이루어지고 있는 분야이며, 앞으로 AI 도입을 고려하는 기업에서는 특히 더 알고 싶은 분야입니다. 이번에는 AI 보안의 중요성과 공격 사례를 몇 가지 소개하려 합니다. 
 

AI 보안의 중요성

최근 우리 주변에는 AI를 활용한 제품과 서비스가 늘고 있습니다. 스마트 스피커나 자율주행차 등이 대표적인 예라고 생각합니다. 스마트 스피커는, 인간의 말을 해석하여 인간의 지시에 맞추어 여러 가지 조작을 실시하고 있습니다. 자율주행차는 차량용 카메라에서 얻은 영상을 분석하여 자동으로 브레이크를 밟거나 차선을 따라 운전하는 등의 기능을 실현하고 있습니다. 앞으로 점점 더 우리의 주변은 AI를 활용한 제품과 서비스가 넘쳐날 것입니다.
 
그런 AI가 당연한 세계에서는 무슨 일이 일어날까요? 물론 지금의 생활보다 훨씬 좋은 생활이 기다리고 있을 것이라고 기대됩니다. 인간이 운전을 하지 않으며, 자동차에 의한 사고는 거의 사라질지도 모릅니다. 편의점에서 쇼핑을 할 때는 따로 계산을 할 필요가 없을지도 모릅니다. 이런 세상이 오는 것을 모두가 바라던 것은 아닐까요?
 
조금 이야기를 바꿔봅시다. 스마트폰을 포함하여 자신의 PC에서는 기업이 제공하는 시스템에 이르기까지 대부분이 소프트웨어로 움직이고 있으며, 항상 사이버 공격의 위험성에 노출되어 있습니다. 물론 보안 제품도 많이 존재하고 있지만, 공격자는 늘 새로운 공격을 시도하기 때문에 방어자는 거의 뒷북을 치는 것이 현실입니다. 사이버 공격이 자신과는 상관없다고 생각하면 큰 실수입니다.
 
Facebook(현 Meta)은 2020년 4월에 대규모 사이버 공격을 받고 2억 6700만 명의 개인정보가 유출되었습니다. 유출된 이름이나 전화번호 등이 어둠의 경로에서 팔리고 있었고, 자신도 모르는 사이에 개인 정보가 악용될 위험성이 있었다는 것입니다. 이와 같이, 우리 주변에서는 사이버 공격이 끊임없이 발생하고 있으며, 결코 남의 일이 아닙니다.
 

 
소프트웨어 취약점을 이용하여 공격자는 사이버 공격을 하는 경우가 많습니다. 그렇다면 AI 에는 취약점이 없습니까? 대답은 '아니요'입니다. 즉, AI로 넘치는 세계에서, AI를 향한 공격이 행해질 가능성이 있다는 것입니다. AI 보안을 고려하지 않는다면, 안심하고 AI를 사용할 수 없다는 것입니다.
 

AI에 대한 공격 사례

AI에 대한 공격 사례를 몇 가지 소개합니다. 이러한 사례를 보시면 다양한 AI에 공격을 가하는 것이 가능하다는 것을 알 수 있을 것입니다.
 
■ 자율주행차량 공격
위에서 언급했듯이 가까운 미래에는 자율주행차량이 당연한 세상이 될 것입니다. 자율주행차량에는 다양한 AI가 탑재되어 있으며, 이들을 통합하여 안전한 운전을 실현하고 있습니다. 그 대표적인 예로서, 화상 인식 기술을 이용해 도로 표지판을 인식하고, 이 도로에서는 이 정도의 속도로 운전하는 것이 내부적으로 처리됩니다. 여기서 만약 자율주행차가 해킹되어 도로 표지판을 잘못 인식했다고 칩시다.
 
이것은 AI에 대한 공격의 가장 유명한 예로, 이미지에 인간은 눈치챌 수 없는 노이즈를 추가하거나 아래 이미지와 같이 이미지의 일부에 흑백 사각형을 추가하여 이미지 인식 모델을 쉽게 속이는 것이 가능합니다.

 
예를 들어 위의 이미지는 '멈춤' 표지판이라는 것을 인간은 쉽게 알 수 있지만, AI 모델은 흑백의 직사각형을 더한 것만으로도 '멈춤'이 아니라 ' 45km/h로 주행 가능'과 같이 잘못 인식합니다. 본래라면,「멈추지 않으면 안 된다」는 곳을「멈추지 않고 진행해 버린다」라고 한다면 어떻게 될지는 여러분도 잘 알고 계시겠지요. 이것은 큰 사고로 이어질 수 있는 중요한 문제입니다.


■ 음성인식 엔진 공격 
음성인식 엔진은 여러 곳에서 사용됩니다. Amazon사의 Alexa나 Google의 GoogleHome으로 대표되는 스마트 스피커나, iPhone에 탑재된 Siri, 그리고 최근에는 자동으로 회의록을 작성해 주는 앱 등, 응용 범위는 매우 넓고, 앞으로 점점 더 많이 사용될 것입니다. 그러나 음성인식 엔진에도 취약점이 존재합니다.
 
아래 그림을 보시면, 오디오는 파형으로 표현됩니다. 이 파형에 인간이 알아챌 수 없을 정도의 노이즈를 더하는 것으로, 음성인식 엔진이 인식하는 단어가 완전히 바뀌어 버립니다. 즉, 인간이 눈치챌 수 없는 곳에서, 공격이 행해질 위험성이 있다는 것입니다. 이 외에도 특정 키워드가 포함되어 있으면 그 문장 전체를 다른 의미로 파악하는 공격도 존재합니다.

 

여기서 한 가지 시나리오를 생각해 봅시다. 스마트 스피커로 집 문을 열 수 있다고 가정합시다. 이때, 스마트 스피커는 '문 열어줘'라는 단어에 반응하여 문을 열 수 있습니다. 그러나 스마트 스피커의 음성인식 엔진이 공격을 받아, 뭔가 다른 말을 '문 열어줘'라고 인식하게 되었다고 칩시다. 이 경우 이용자의 의도에 반하여 문이 열려 버립니다. 이것은 매우 큰 위험성이라는 것을 쉽게 상상할 수 있을 것입니다.

 

■ 기계 번역 엔진에 대한 공격
Google 번역이나 요즘 주목받고 있는 DeepL 같은 기계 번역 엔진은, 많은 사람들이 사용한 적이 있을 것입니다. 심층 학습이 시작된 후, 기계 번역의 정밀도가 크게 향상되어 긴 문장에서도 문맥을 고려하여 번역할 수 있게 되었습니다. 보다 정밀도가 향상되어, 미국의 뉴스를 번역해 곧바로 한국어 기사로 싣는 등 여러 가지 응용이 이루어지고 있습니다. 그러나 이 기계 번역 엔진에도 취약점이 존재합니다. 예를 들어, 다음과 같은 문장을 한국어로 번역한다고 합시다.
 
I play tennis with my friend
 
이때 기대되는 번역 결과는 "나는 친구와 테니스를 칩니다"가 됩니다. 물론, 위 문장에서「play」를「played」로 바꿔도, 거의 그 의미는 변하지 않습니다. 그러나, 현재의 번역 엔진에서는, 이와 같이 같은 의미의 단어를 바꿔 넣었을 뿐인데, 다른 번역 결과가 되어 버리는 경우가 종종 있습니다. 이것을 악용하면 뉴스를 다른 의미의 문장으로 해석시킬 수도 있습니다. 조금 과장하면 언론을 통한 이미지 조작도 가능할 수 있습니다. 즉, 매우 큰 위험성을 갖고 있다고 할 수 있습니다.


■ 얼굴 인식 모델에 대한 공격
마지막으로 얼굴 인식 모델에 대한 공격을 소개합니다. 얼굴 인식 모델은 다양한 곳에서 사용되고 있지만, 가장 중요한 점은 인증에도 사용되고 있다는 것입니다. 얼굴은 쉽게 바꿀 수 있는 것이 아니기 때문에, 어느 곳에 출입할 때 패스워드 인증과 얼굴 인증을 실시한다면, 보다 안전하게 출입 제한을 실시하는 것이 가능합니다. 그러나, 최근의 연구로 백도어를 설치하여 얼굴 인식 모델을 속일 수 있다는 것을 알게 되었습니다. 예를 들어, 안경을 쓴 사람은 시스템 관리자 인증을 통과하도록 심어놓는 등의 조작이 가능해지고 있습니다. 일단 시스템 관리자로서 인증되어 버리면, 그 시스템은 공격자의 생각대로 움직일 수 있습니다. 이것은 매우 위험한 공격입니다.

 
 

요약

이번 글에서는 왜 AI에 보안이 필요한지, 공격 사례들을 통해 알아보았습니다. AI에 대한 공격은 매우 위험하다는 것을 알 수 있었을 것입니다. 다음번에는 대표적인 공격 수법에 대해 소개하겠습니다.