「언어를 일반화하는 인간과 같은 능력을 가진 신경망」의 등장으로 AI에 혁신이 일어날 가능성

언어에 있어서의 「일반화」를 인간처럼 실시할 수 있는 신경망의 개발에 성공했다고, 2023년 10월 25일 과학지 Nature에 게재된 논문에서 보고되었습니다.

일반화(generalization)
추상화의 한 형태로, 특정 실례의 공통 특성을 일반적인 개념이나 주장으로서 정식화하는 것입니다.

일반화에서는 도메인과 요소의 집합과 그 요소에 공통적인 하나 이상의 공통 특성의 존재를 가정합니다(즉, 개념 모델을 만듭니다). 따라서 일반화는(특히 논리학, 수학, 과학 분야에서) 모든 효과적인 연역적 추론의 본질적인 기초이며 일반화가 어떤 상황에서도 참인지 여부를 결정하기 위한 검증 과정이 필요합니다.

ChatGPT같이 인간과 자연스럽게 대화할 수 있는 채팅봇도 언어의 일반화는 매우 어렵기 때문에, 이 신경망의 등장에 의해 대화형 AI의 새로운 진화를 전망할 수 있다고, 과학지 Nature가 지적했습니다.

덜덜 어디까지 진화하는 것이냐...

AI 'breakthrough': neural net has human-like ability to generalize language
https://www.nature.com/articles/d41586-023-03272-3

인간은 언어를 다룰 때, 「새롭게 학습한 단어를 기존 어휘에 통합하여 새로운 맥락에서 사용한다」라는, 일반화라고 알려진 작업을 수행합니다. 일반화는 사람이 새로운 환경에서 새로 습득한 단어를 어려움 없이 사용할 수 있는 능력에 의해 입증됩니다. 예를 들면 「Photobombing (장난치기 위해) 의도적으로 다른 사람 사진에 찍히기」라는 말의 의미를 이해하면, 「Photobombing을 2회 실시」라든지, 「Zoom 통화 중에 Photobombing 당했다」처럼, 다양한 상황에서 「Photobombing」 이라는 단어를 사용할 수 있게 됩니다.

마찬가지로, 「고양이가 개를 쫓는다」라는 문장을 이해할 수 있는 사람은, 특별히 고민하지 않아도「개가 고양이를 쫓는다」라는 문장도 이해할 수 있을 것입니다.

그러나 이 언어의 일반화 능력은 AI 연구를 지배해 온 "인간의 인지를 에뮬레이트하는 방법"인 「신경망」에는 갖추어져 있지 않다는 것이 뉴욕 대학의 인지계산 과학자인 브렌던 레이크 등의 연구에서 밝혀졌습니다. 인간과는 달리 신경망은 단어를 사용하는 여러 개의 샘플 텍스트를 배울 때까지 일반화에 어려움을 겪습니다.

레이크 씨의 연구팀은 25명의 피험자를 대상으로 새롭게 배운 단어를 다양한 상황에서 얼마나 잘 활용할 수 있는지 테스트했습니다. 연구팀은 두 가지 범주의 무의미한 단어로 구성된 의사 언어를 사용하여 피험자의 일반화 능력을 검증했습니다.

테스트에서는 「dax」,「wif」,「lug」라고 하는 원시적 단어를, 스킵이나 점프와 같은 기본적인 동작을 나타내는 단어로 설정하고, 보다 추상 기능적 단어로서 「blicket」, 「kiki」 「fep」라는 단어를 새로 설정했습니다. 원시적 단어와 기능적 단어를 조합하는 것으로, 「3회 점프한다」라든지 「뒤로 건너뛰기」등을 표현할 수 있도록 했습니다.

그런 다음 피험자는 원시적 단어를 특정 색상의 원과 연결하도록 훈련합니다. 구체적으로는 「dax」가 붉은 원, 「lug」가 푸른 원을 나타내는 등의 상태입니다. 그리고 원시적 단어와 기능적 단어를 조합하여 어떤 원이 생길 수 있는지 피험자에게 답변을 받았습니다. 예를 들면, 「dax fep」는 「적색 원이 3개」, 「lug fep」는 「청색 원이 3개」라는 상태로, 2 종류의 카테고리의 단어를 일반화하는 능력을 측정한 것입니다.

테스트 결과, 인간 피험자는 언어의 일반화 작업에서 뛰어난 성과를 발휘하는 것으로 나타났습니다. 피험자는 평균 80%의 비율로 정확한 수의 색깔과 원을 나타내는 단어 조합을 답변하는 데 성공했다고 합니다.

다음으로, 연구자들은 인간 피험자에게 실시한 테스트와 동일한 내용의 작업을 수행하도록 신경망을 훈련시켰습니다. 신경망을 훈련시키는 표준 접근 방식인 정적 데이터 세트를 사용하는 대신, AI가 각 작업을 완료하면서 훈련할 수 있도록 했습니다. 신경망을 인간답게 하기 위해 연구팀은 인간의 테스트 결과에서 관찰된 오류 패턴을 재현하기 위해 신경망을 훈련시킨 후, 같은 규칙으로 새롭게 테스트를 작성해, 트레이닝 후의 뉴럴 네트워크에 테스트를 실시했는데, 정답률은 인간과 거의 동일해, 경우에 따라서는 인간의 퍼포먼스를 웃돌았다고 합니다.

반면, ChatGPT의 기반이 되는 GPT-4는 비슷한 테스트에서 어려움을 겪었습니다. ChatGPT는 인간처럼 흐름이 있는 대화를 할 수 있음에도 불구하고, 위 테스트에서 인간이나 전술했던 신경망보다 평균 42~86% 더 실패했습니다.

레이크 씨는 "이것은 마법이 아닙니다. 연습에 의해 습득된 것입니다. 아이가 모국어를 배울 때 연습하는 것처럼 AI 모델도 일련의 구성 학습 과제를 통해 구성 스킬을 향상합니다"라고 코멘트했습니다.

또한, 존스 홉킨스 대학에서 언어 전문 인지 과학자로 일하는 폴 스몰렌스키 씨는 신경망이 보여주는 인간과 같은 성능에 대해 "네트워크를 체계적으로 훈련하는 능력에 획기적인 진보가 있었음을 시사합니다."라고 코멘트.

뉴멕시코에 있는 샌타페이 연구소의 인지 과학자 멜라니 미첼 씨는 "이 연구는 흥미로운 원리의 증명이지만, 교육 방법이 대규모 데이터세트 전체에 일반화될 수 있는지는 아직 알 수 없습니다."라고 코멘트.

한편, 레이크 씨는 "인간이 어릴 때부터 체계적으로 일반화하는 요령을 어떻게 익히는지 연구하고, 그 발견을 통합하여 보다 견고한 신경망을 구축함으로써 이 문제를 해결하고자 노력하고자 합니다."라고 코멘트.

독일의 오스나브뤼크 대학의 자연언어 처리 전문가인 에리어 브루니 씨는 이 연구에 의해 신경망의 학습 효율이 향상될 가능성이 있다고 언급했습니다. 또한 ChatGPT와 같은 대규모 언어모델 교육에 필요한 엄청난 양의 데이터가 줄어들고 AI가 존재하지 않는 패턴을 인식하고 부정확한 출력을 만들 때 발생하는 '환각'도 최소화될 수 있다고 말했습니다.


와... AGI 의 마지막 퍼즐 조각 중 하나인 '인간만큼 빠르게 학습할 수 있는 능력'을 얻은 것인가?