[알기쉬운 AI - 07] AI와 통계학의 관계

이번에는 AI의 성립과는 떼려야 뗄 수 없는 중요한 학문 중 하나인 "통계학"을 소개합니다. 이 글을 읽고 "도대체 통계학이란 무엇인가?"라든지 "왜 AI에 통계학이 튀어나오는 거야?"라는 의문에 대답할 수 있도록 해봅시다!

 

1. 통계학을 공부합시다!

통계학은 수학의 한 분야이며, 간단히 말해서 “수집된 데이터를 상세하게 보거나 데이터를 바탕으로 사실을 추측하는 학문”이라고 할 수 있습니다.

 

"으아 수학이라니…"라고 생각한 거기 당신, 그 느낌 압니다. 그러나 통계는 일상적으로 우리가 접하는 "데이터"를 기반으로 하기 때문에 매우 진입하기 쉬운 분야입니다. 공부를 진행하는 가운데, 초심자로서 지식을 이해하고 운용하기만 해도 그 효과를 발휘할 기회가 쉽게 찾아온다는 것을 알 수 있을 것입니다. 숫자 알레르기가 있으신 분들도 공부하면서 "용어의 의미"만 이해할 수 있다면 OK입니다!

 

2. 숫자를 다루는 모든 사람들에게 통계학은 양날의 검?

"신입 사원의 30%는 3년 이내에 그만둔다", "노후대비 월 123만 원 필요"등의 뉴스에서 보이듯 우리의 삶은 숫자로 둘러싸여 있습니다.

 

"보험계리사"라는 직업을 아십니까? 금융기관에서 통계를 이용한 보험금이나 주가를 산출하는 일로, 그 연차에 따라서는 연봉 1억을 넘는 것으로 알려져 있습니다. 이처럼 데이터를 제대로 다루는 사람의 희소가치는 높고, 향후 AI의 발전에 따라 점점 그 가치가 상승할 것이라고 생각합니다.

 

숫자의 집합, 즉 "데이터"만 봤을 때 오해하기 쉬운 경우가 있습니다. 예를 하나 보시죠.

 

[예] 인과관계와 상관관계는 다르다

어느 카지노를 좋아하는 A 씨는 "카지노에서 슬롯머신으로 돈만 따면 즉시 술값에 사용해 버리는" 습관 때문에 부인에게 주의를 받고 이달의 가계부를 쓰기로 했습니다. 10일분의 카지노 비용을 포함한 수익을 표로 정리한 결과, 다음과 같습니다.

 

 

그런데 남편이 정리한 가계부를 우선 "분석"해 보려고 부인은 다음의 차트를 만들었습니다.

 

부인은 큰 발견을 한 얼굴로 "당신! 지출이 클수록 슬롯머신의 당첨금액도 커진 거야, 더욱더 돈을 사용하도록 해!"라고… 이를 믿은 A 씨는 카지노에 갈 때마다 돈을 펑펑 쓰게 되었습니다.

 

그러나 물론, 카지노에서 점점 지출만 늘어나고 큰 손해를 보게 됩니다… 그럼, 무엇이 문제였던 것일까요?

 

부인은 "슬롯머신에서 딴 돈을 바로 다시 사용한다"는 사실을 잊어버리고 인과관계와 상관관계를 뒤죽박죽 섞어서 판단한 것이 문제였습니다. 이 실수는 다음 그림으로 정리됩니다.

사실은 "슬롯머신 당첨"이라는 원인이 "돈을 많이 쓴다"라는 결과를 초래하고 있습니다. 이렇게 인과관계를 제대로 파악하는 것이 중요하다는 것을 잘 아시겠죠.

 

통계는 주어진 데이터(입력 데이터)에서 다양한 지표를 계산하여 데이터를 보기 쉽게 하고, 깊은 의미를 알 수 있도록 합니다. 그러나 현실의 상황을 제대로 반영하지 않으면 수학적으로 아무리 정확해도 큰 오해를 낳을 수 있기 때문에 기초를 확실하게 다져야 합니다.

 

3. 「◯◯확률 · 통계」라는 책을 자주 보지만, 똑같아…

통계학은 흔하게 보이는 참고서「◯◯확률 · 통계」처럼 '확률론'과 함께 다뤄지는 경우가 많습니다. (확률론은 중학교나 고등학교에서 배우는 확률 정도로도 괜찮습니다.) 왜냐하면 사실 통계학과 확률 이론은 본질적인 개념이 아주 가깝습니다.

 

다음과 같은 문제를 생각해 봅시다.

 

각 눈이 나오는 수가 평등한 주사위를 "제대로 된 주사위"라고 합니다.

“주사위를 1회 던질 때 5가 나올 확률은 몇일까요?”

 

이것은 확률로 자주 거론되는 문제인데요. 정답은 1/6입니다. 그럼 다음 문제는 어떻습니까?

“6번 던졌을 때, 5가 한번 나오는 주사위는 ‘제대로 된 주사위’ 일까요?”

 

6번 던질 때 한번 5가 나오기 때문에 아마도 제대로 된 주사위입니다.

이 예는 다음과 같은 관계성으로 정리할 수 있습니다.

"사실로부터 어떤 일이 일어날 비율(확률)을 계산하는 것이 확률론이고, 숫자(데이터)로부터 사실 · 수치를 추측하는 것이 통계학이다." 이 정도로 대략의 이미지를 잡아 놓으시기 바랍니다. 또한 통계학 공부를 더 깊이 파고든다면 "6번 던졌을 때 5의 눈이 한 번 나오는 주사위"가 "몇% 의 확률로 정상적인 주사위인가"도 계산할 수 있습니다. 더 자세하게 알고 싶으신 분들은 꼭 확률 · 통계의 간단한 책을 읽어 보시는 것을 추천합니다.

 

 4. 「AI」와 「확률 · 통계」의 관계

그럼, 마지막으로 AI와「확률 · 통계」의 관계를 간단히 이야기해 봅시다. 통계학은 "데이터에서 사실을 예측한다"는 것을 대략 알게 되었습니다.

 

그렇다면, AI의 목적은 크게

"입력 데이터를 바탕으로 통계학적 계산을 실시하여 '예측'을 하고, 정해진 기준을 바탕으로 확률을 계산하여 '분류'를 한다." 고 할 수 있습니다. 기능에 대한 이론을 수학적으로 세울 수 있으며, 그 구성의 가장 큰 부분을 차지하는 것이 「확률 · 통계」라는 것입니다!

 

 

[알기쉬운 AI - 08] AI의 기본 원리