OpenAI의 대화형 AI인 ChatGPT는 대규모 언어 모델인 GPT-3.5의 파생계를 기반으로 하고 있으며, 마치 인간이 쓴 것처럼 자연스러운 문장으로 대화할 수 있습니다. ChatGPT의 어떤 점이 획기적인지에 대해 존 스톡스 씨가 설명하고 있습니다.
ChatGPT Explained: A Normie's Guide To How It Works
ChatGPT Explained: A Normie's Guide To How It Works
Once you understand a few core concepts, modern chatbots are less mysterious.
www.jonstokes.com
처리 프로세스에는 특정 입력이 주어질 때마다 동일한 출력을 생성하는 "결정론"과 특정 입력이 주어지면 출력이 확률에 따라 변하는 "확률론"의 두 가지가 있습니다.
스토크스 씨에 의하면, ChatGPT의 획기적인 부분은, 지금까지 결정론적인 처리를 하고 있던 부분도 모두 확률론적인 처리를 하고 있다는 점이라고 합니다. 예를 들어, 캡슐 장난감 뽑기에 500원을 넣고 핸들을 돌리면 항상 캡슐이 나옵니다.「500원」이라는 입력에 대해「캡슐」이라는 출력을 얻을 수 있다는 의미로, 캡슐 뽑기는 결정론적이라고 할 수 있습니다.
그러나, 중요한 캡슐의 내용은 동일하지 않습니다. 10 종류의 피규어가 들어있는 캡슐 장난감이라면, 각 종류별로 같은 개수가 들어있다고 가정했을 때, 원하는 피규어가 나올 확률은 10 분의 1입니다. 이 경우 '500원'이라는 일정한 입력에 대해 '캡슐의 내용'이라는 출력이 다를 수 있다고 생각한다면, 캡슐 뽑기는 확률론적이라고 해석할 수 있습니다.
ChatGPT도 이 캡슐 뽑기와 같으며, 입력된 텍스트(프롬프트)에 대해 확률 처리에 의해 단어를 선택하여 출력하고 있습니다.
스톡스 씨는 ChatGPT를 원자가 가진 전자의 궤도에 비유하고 있습니다. 아래 그림은 수소 원자의 전자를 시각화한 것으로, 색이 짙을수록 전자가 존재할 확률이 높다는 것을 보여줍니다.
학교에서는「원자핵 주위를 동심원상으로 전자가 돌고 있다」라는 원자 모델을 가르칩니다만, 실제로 전자의 위치를 명확하게 특정하는 것은 불가능하기 때문에,「원자핵의 주위에 확률적으로 존재한다」라고 설명할 수 있습니다.
즉, 이 전자 궤도의 그림은 어디까지나 확률 분포를 나타낸 것입니다.
ChatGPT도, 이 전자 궤도와 같이「말의 확률 분포」와 같은 것이라고 스톡스 씨는 말합니다.
ChatGPT의 언어 모델이란 의미를 알 수 없는 문자들의 배열부터 셰익스피어의 한 부분에 이르기까지 '토큰'이라 불리는 문자 집합이 확률론적으로 존재합니다. 그리고, ChatGPT의 입력란에 단어를 입력하면, 토큰의 관련성과 확률에 근거한 랭킹에 의해, 문장이 조립되어 갑니다.
예를 들어, 이미지 생성 AI Stable Diffusion은 동일한 프롬프트와 동일한 시드 값을 입력하고 동일한 설정으로 생성하면 매번 동일한 이미지가 생성됩니다. Stable Diffusion에 특정 프롬프트와 시드 값을 입력하면 학습한 내용의 특징량이 분포하는 '잠재 공간'에 있는 특정 포인트를 픽업하여 같은 출력을 생성하기 때문입니다.
한편, ChatGPT는 확률 처리로 문장을 만들고 있습니다. 보통이라면 '가장 순위가 높은' 토큰을 선택하도록 설정하지만, ChatGPT는 굳이 순위가 낮은 토큰도 선택하도록 설정되어 있다는 것.
게다가 스톡스 씨에 의하면, Stable Diffusion으로 따지자면 시드 치를, ChatGPT에서는 프롬프트를 입력할 때마다 강제적으로 변경하는 구조로 되어있다고 합니다. 그 때문에, 출력 결과에 랜덤성이 태어난다는 것입니다.
또, ChatGPT는「대화」를 실시하는 AI이기 때문에, 직전에 입력한 프롬프트뿐만 아니라, 지금까지의 회화 이력 전체를 취득해 사용합니다. 때문에, ChatGPT와 대화를 거듭할수록 입력 프롬프트는 커지고, 출력량도 증가하며, 응답의 정밀도가 올라갑니다.
덧붙여 ChatGPT는 인간처럼 언어를 이해하고 있는 것이 아니라, 확률적으로 문자를 늘어놓아 문장을 만들어내고 있습니다. 때문에, ChatGPT가 확률 처리를 실시해 출력한 문장이, 외형은 인간이 쓴 것처럼 자연스러운 문장이라고 해도, 그 내용은 아주 이상한 경우가 있습니다. 이때 ChatGPT가 "환각을 보고 있다"라고 표현합니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| GPT-3.5에 필적하는「Alpaca 7B」를 스탠퍼드 대학이 공개 (0) | 2023.03.16 |
|---|---|
| Google의 머신러닝 플랫폼 'Vertex AI'가 역대 최대로 업그레이드 (0) | 2023.03.16 |
| 인기 급증의 Bing에 이용하고 있는 AI는「GPT-4」였다고 Microsoft가 밝히다 (0) | 2023.03.16 |
| 「GPT-4」발표,「초대 iPhone과 동등한 충격」이라는 평가 (0) | 2023.03.16 |
| 음성을 문장으로 변환해주는 초 고정밀 무료 AI 서비스「writeout.ai」사용 후기 (0) | 2023.03.13 |
| OpenAI의 차세대 언어 모델「GPT-4」발표 예정, 초대 iPhone급 충격이라는 평가 (0) | 2023.03.12 |
| Google이 시각과 텍스트로부터 인간처럼 이해하는 로봇용 언어 모델「PaLM-E」를 발표 (0) | 2023.03.10 |
| 「Stable Diffusion」이 AI화상 편집 앱「ClipDrop」을 인수해 AI 앱 개발 체제를 강화 (0) | 2023.03.09 |
