AI의 지능이 급격히 떨어지는 '드리프트' 문제는 왜 발생하는가?

 

OpenAI의 ChatGPT와 같은 채팅 AI는 2023년 3월부터 6월 사이에, 간단한 수학을 푸는 정밀도에서 급격히 저하되고 있다는 것이 보고되었습니다. 이러한 AI의 지능 저하를 '드리프트(예기치 않은 변화에 의해, 모델의 예측 성능이 시간 경과에 따라 저하되는 것)'라고 합니다.

What is a 'AI drift' and why is it making ChatGPT dumber? | ZDNET

What is a 'AI drift' and why is it making ChatGPT dumber?

Why ChatGPT Is Getting Dumber at Basic Math - WSJ

Why ChatGPT Is Getting Dumber at Basic Math

미국 스탠퍼드 대학의 연구팀이 실시한 조사에 따르면, 2023년 3월과 6월 2회로 나누어, OpenAI의 대규모 언어 모델 「GPT-3.5」와 「GPT-4」에 「수학 문제」, 「코드 생성」 「시각적 추론」, 「민감한 질문」의 4개 태스크를 주었고 그 답변의 정확성과 스피드를 분석했습니다. 조사 결과 "17077은 소수입니까?"와 같은 간단한 수학 문제에 대한 GPT-4 응답의 정확도가 2023년 3월부터 6월까지 97.6%에서 2.4%로 급락한 것으로 나타났습니다.

ChatGPT의 지능이 급격히 떨어지고 있다는 연구 결과, 간단한 수학 문제 정답률이 98%에서 2%로 악화

ChatGPT의 지능이 급격히 떨어지고 있다는 연구 결과, 간단한 수학 문제 정답률이 98%에서 2%로 악화

연구팀에 의해 제시된 AI의 지능 저하를 '드리프트'라고 합니다. 스탠퍼드 대학과 버클리 캘리포니아 대학의 연구자에 따르면 "AI의 드리프트 문제는 매우 복잡한 AI 모델의 일부를 개선하려 하면 모델의 다른 부분의 성능이 저하되는 문제"라는 것.

스탠퍼드 대학에서 컴퓨터 과학을 연구하는 제임스 죠 씨는 "AI 모델을 미세 조정하여 특정 방향으로 강화하면 다른 영역에서는 오히려 후퇴하는 위험이 있습니다."라면서, 지속적인 개선은 매우 어렵다고 코멘트.

또한 죠 씨는 "우리는 GPT-4 등의 AI 모델에서 드리프트 문제가 언젠가는 발생하지 않을까 의심했지만, 벌써 드리프트 문제가 발생한 것에 매우 놀라고 있습니다."라고 보고.

해외 미디어인 Cryptopolitan은 AI의 드리프트 문제에 대해 "이 문제는 프롬프트 엔지니어링(prompt engineering)의 급성장 추세와 관련되어 있을 수 있다."라고 추측합니다. Cryptopolitan에 따르면 프롬프트 엔지니어링은 사용자가 프롬프트를 만들고 AI에게서 특정 반응을 이끌어내는 개념입니다. "GPT-4에서 수학적 능력의 감소는 프롬프트 엔지니어링에 대항하기 위해 취해진 의도치 않은 결과일 수 있다."라고 코멘트.

OpenAI는 "새로운 AI 모델을 출시할 때, 우리는 새로운 모델을 전반적으로 현명하게 만드는 것을 최우선으로 생각합니다. 또한, 우리는 새로운 AI 모델의 버전이 포괄적인 작업 개선으로 이어지고 있는지 확인하기 위해 다양한 연구 및 연구를 실시하고 있습니다. 그러나, 우리의 평가 방법은 완벽하지 않기 때문에 항상 개선을 이어가고 있습니다."라고 말했습니다.

죠 씨는 AI의 드리프트 문제에 대해 "중요한 것은 지능 저하에 따라 기술을 포기하는 것이 아니라, 지금까지 이상으로 AI를 면밀히 감시하는 것"이라고 말하고 있습니다. 연구팀은 ChatGPT와 같은 AI 모델에 대해 수천 개의 질문을 제공함으로써 체계적인 테스트를 계속하고 시간이 지남에 따라 성능 변화를 분석할 것을 밝혔습니다.