[알기쉬운 AI - 34] 설명 가능한 AI(XAI : Explainable AI) 1 - AI의 예측에 근거는 필요한가?

설명 가능한 AI( Explainable AI, 이후 XAI )라는 단어를 들어 보신 적 있습니까?
 
XAI는 AI 예측의 근거를 예측과 함께 출력하는 AI입니다. 특히 최근 주목을 받고 있는 심층 학습이 대두된 후 XAI의 중요성이 주목받고 있습니다. 이는 심층 학습 알고리즘의 예측 근거가 인간에게는 이해하기 어렵기 때문입니다. 심층 학습 알고리즘은 그 정확도가 기존보다 압도적으로 좋으며, 동시에 예측의 근거가 손실되는 문제가 있습니다. 즉, 예측 정밀도와 그 예측 근거는 트레이드오프 관계에 있다는 것입니다. 여기서는 XAI의 기본 사고방식과 왜 XAI가 필요한지 사례를 들어보겠습니다.
 

◎ LIME을 사용한 판정 근거의 제시 예

 
LIME에 대해서는 아래를 참고하세요

[1주차] 대리분석(LIME)

 

1. AI 예측에 근거가 필요한 이유

 AI의 예측에 근거가 필요한 이유는 크게 나누어 3가지 존재합니다.

1-1.  설명 책임이 있는 현장에서 사용하기 위해

최근 AI는 다양한 장면에서 활용되고 있습니다. 그 대표적인 응용의 예 중 하나로 의료분야가 있습니다. 
 
Google, Amazon 및 Apple과 같은 대기업은 AI를 활용하여 의료 업계에 진출하기 시작했습니다. 의료 현장에서 AI를 활용하면 의사들의 부담을 줄이고 신속한 진단이 가능할 수 있습니다. 한편 의료 현장에서는 환자에게 병명을 전달할 뿐만 아니라 왜 그 병으로 진단했는지도 잘 전달해야 합니다. 예를 들어, '뢴트겐의 이 부분에 음영이 있기 때문에 암으로 판단된다' 같이, 왜 그러한 진단을 내렸는지 설명할 필요가 있습니다. 이렇게 의료 현장처럼, 왜 그런 예측을 했는지 설명이 요구되는 경우가 많습니다. 이런 경우에 XAI가 필요합니다.
 

1-2.  안심하고 AI를 사용하기 위해

XAI를 사용하면 사용자가 안심할 수 있다는 것도 XAI가 필요한 큰 이유 중 하나입니다. 현재, AI 가 정말 신뢰할 수 있는 것인지, 의심을 품고 계신 분들도 많을 것입니다. 그 의심으로 인해 AI의 도입이 늦어지는 기업도 있을 것입니다. XAI는 여기에 예측 근거를 제시함으로써 사용자가 안심하고 AI를 사용할 수 있도록 하여 AI의 도입이 촉진될 수 있다고 생각됩니다.
 

1-3.  AI의 예측 정밀도를 향상하기 위해

XAI를 사용하면 AI모델의 정확도를 향상할 수 있습니다. 예를 들어, 개와 고양이를 분류하는 모델을 개발하는 경우를 생각해 봅시다. 이때, 훈련 데이터 안에 있는 개의 이미지 대부분이, 잔디 위에 있는 개의 이미지였을 때, 개발된 모델이 개에 주목하지 않고 잔디에 주목해, 예측을 실시할 가능성이 있습니다. 이러한 경우 XAI는 이러한 오인식의 원인을 확인하고 개 자체에 주목하도록 모델을 개선함으로써 모델의 정확성을 향상할 것으로 기대됩니다.
 
또한 XAI에 의해 특징량의 중요성을 보여주고, 예측에 기여하지 않는 특징량을 줄임으로써 정확도와 처리 속도가 향상될 수 있습니다. 이와 같이 XAI에 의해, AI 모델의 정밀도나 속도 등을 개선하는 것이 가능해집니다.
 

 

2. 왜 심층 학습은 예측 근거를 나타내는 것이 어려운가?

왜 심층 학습에서 예측 근거를 나타내는 것이 어려운지 기존 방법과 비교해 봅시다. 기존의 방법은 주로 룰 베이스의 방법과 알고리즘에 의해 자동적으로 식별을 실시하는 방법(결정 트리나 SVM 등)의 2개로 나뉩니다.
 

2-1. 기존의 기법 1(룰 베이스에 의한 예측)

룰 베이스 방법에서는, A가 입력되면 B를 출력, A'가 입력되면 B'을 출력하는 등, 미리 입력 패턴과 거기에 대응하는 출력을 결정해 둡니다. 모든 입력에 대응하기 위해서는 무수한 패턴을 인간이 설정할 필요가 있기 때문에 입력과 그것에 대응하는 출력의 수가 많아지면 룰 베이스에 의한 기법으로는 즉시 대응할 수 없게 됩니다. 한편, 왜 그 출력이 나왔는지 파악하는 것은 간단하게 할 수 있는 것이 룰 베이스의 수법의 이점입니다.
 

2-2. 기존의 기법 2(알고리즘에 의한 예측)

위의 룰 베이스에 의한 기법은 힘든 노력이며, 모든 케이스를 다루는 것은 현실적으로 불가능합니다. 그래서 주어진 데이터로부터 인간이 중요하다고 생각하는 특징(예를 들면, 이미지 분류이면, 엣지나 색의 변화 등을 추출)을 선택하고, 그것을 이용하여 예측을 실시하는 모델을 학습합니다.
 
현재도 자주 사용되는 모델 중 하나로 결정 트리(나무)라는 것이 있습니다. 결정 트리에서는, 특징량 단위로 데이터를 분할해 가면서, 최종적인 예측을 실시합니다. 예를 들어, 어느 점포에서의 하루 매출을 예측하고 싶을 때, 날씨나 기온과 같은 특징량 등으로 데이터를 분할해 갑니다. 게다가, 어떤 특징량으로 데이터가 잘 분할될 수 있는지 조사함으로써 특징량의 중요성을 계산할 수 있습니다. 기온이 30도 이상인지 여부로 데이터를 분할했을 때, 데이터가 깨끗하게 나뉘면 '기온'이라는 특징량은 분류에 크게 기여하고 있다는 것입니다. 위에서 언급했듯이 결정 트리라는 알고리즘은 인간이 해석하기 쉬운 알고리즘이라고 할 수 있습니다.
 

 

2-3. 심층 학습 기법

심층 학습은 기존 기법에 비해 정밀도가 높은 것으로 알려져 있습니다. 그 이유로는 주어진 입력과 그 정답 데이터를 이용하여 특징량 추출에서 분류까지 단번에 관통(End-To-End 학습이라고 함)에 의해 자동적으로 좋은 특징량을 추출할 수 있다는 것을 들 수 있습니다. 학습 중 좋은 특징이 무엇인지 자동적으로 학습해 가는 것으로, 심층 학습 기법은 압도적인 성능을 발휘합니다.
 
여기서 두 가지 큰 문제가 발생합니다. 첫째, 인간이 특징량을 설계하지 않는다는 것은 어떤 특징량으로 예측을 하고 있는지 인간이 이해하기 어렵다는 것입니다. 또, 심층 학습 기법은 기존 수법에 비해, 압도적으로 학습하는 파라미터의 수가 많아, 내부에서 어떠한 처리가 행해지고 있는지 인간이 이해하기 어렵다는 것입니다.(최근 OpenAI에서 발표된 자연 언어 처리를 실시하는 GPT-3 모델은 1,750억 개의 파라미터를 가지고 있습니다.) 심층 학습 기법이 블랙박스라고 불리는 이유가 바로 이것입니다.
 
 

 

3. 실제 활용 사례 및 실패 사례

여기에서는 XAI의 실제 활용 사례와 XAI를 도입할 필요가 있는 사례를 3가지 소개합니다.
 

3-1. 인재 채용

인재 채용에 AI를 사용하는 기업이 늘어나고 있습니다. 그러나, AI로 채용을 판정하는 것에 의심을 품는 사람들은 많을 것으로 생각됩니다. Amazon에서는 2014년 ~ 2015년 채용으로 AI를 활용했습니다. 그러나 「여성」에 관한 단어가 이력서에 포함되어 있는 것만으로 평가가 떨어지는 것으로 밝혀졌고, 이후 아마존은 AI를 이용한 채용을 중단하였습니다. 이것은 「여성」이라는 단어를 특징량에 포함하고 있었던 것, 그리고 여기에 XAI의 구조가 들어가 있지 않았던 것이 문제라고 할 수 있습니다. XAI 기술을 넣어두었다면, 초기 단계에서 이러한 차별적인 예측을 하는 것을 감지해, 무언가 대책을 취했을지도 모릅니다. 이와 같이 인재 채용에 있어서 XAI는 꼭 필요한 기술이 될 것으로 예상되고 있습니다.
 

3-2. 의료

처음에 Google이 의료에 힘을 쏟고 있다는 이야기를 했습니다. Google 산하의 DeepMind는 의료에 XAI를 도입하여 어느 부분에 주목하여 안병(눈병)으로 판단했는지 시각화하는 기술을 발표하였습니다. 보통이라면 원래 이미지에서 그대로 눈병 여부를 판단하는 네트워크를 만들었습니다. 그러나 XAI에서는 아래와 같이 2단 구성으로 하고 있습니다. 이렇게 하면 눈 속의 여러 부위가 시각화되어 인간의 더블 체크가 간단해집니다.
 

 

3-3. 심사

심사 분야에서는 XAI가 적극적으로 활용되고 있습니다. 예를 들어, 일본 기업 히타치에서는 모기지의 심사에 XAI를 활용하고 있습니다. 「연봉」이나 「연령」이라고 하는 특징량이 여신 심사에 어떻게 기여하고 있는지, XAI를 활용하면 알 수 있게 됩니다. 이를 통해 투명성이 높은 심사를 실현할 수 있습니다.
 

4. 정리

이번에서는 XAI라는 AI의 예측 근거를 보여주는 기술에 대해 소개했습니다. XAI는 앞으로 세상에서 AI가 사용되기 위해서 필수적인 기술입니다. XAI는 AI와 인간을 연결하는 기술이라고 해도 좋을지 모릅니다. 다음에서는 XAI의 작동 방식에 대하여 이미지 분류 모델을 예로 들어 소개하겠습니다. 그 구조까지 알게 되면 XAI의 이해가 더 깊어질 것으로 생각됩니다.

[알기쉬운 AI - 35] 설명 가능한 AI(XAI : Explainable AI) 2 - XAI의 적용 방법

[알기쉬운 AI - 36] 설명 가능한 AI(XAI : Explainable AI) 3 - 해석 가능한 모델의 추출

[알기쉬운 AI - 37] 설명 가능한 AI(XAI : Explainable AI) 4 - 블랙 박스인가 투명성인가