AI에 '호기심'을 갖게 함으로써 퍼포먼스를 개선할 수 있다

 

AI와 마우스의 비교 연구에서, 마우스는 "새로운 물체"를 재빨리 깨닫는 반면 AI는 전혀 깨닫지 못하는 것으로 나타났습니다.

연구자들은 이 과제를 계기로 AI에 '호기심'을 갖게 함으로써 성능을 개선하고 있습니다.

[2306.15934] Curious Replay for Model-based Adaptation
https://doi.org/10.48550/arXiv.2306.15934

AI Agents that “Self-Reflect” Perform Better in Changing Environments

AI Agents that “Self-Reflect” Perform Better in Changing Environments

 
스탠퍼드 대학 우차이 신경과학연구소(Wu Tsai Neurosciences Institute)의 아이작 카우버 씨와 기계학습 연구원 크리스 도일은 교육학부의 닉 하버 부교수 연구실에서 동물이 주변 환경을 탐험하고 적응하는 것에 대해, 오랜 기간의 연구를 바탕으로 최첨단의 AI와 마우스를 비교하는 실험을 실시했습니다.

마우스는 빈 상자에, AI 에이전트는 빈 3D 가상 아레나에 각각 넣고, 두 환경에서 빨간 공을 넣었을 때 어느 쪽이 더 빨리 새로운 물체를 탐지하는지 측정한다는 것.

실험 결과, 마우스는 즉시 공에 가까이 접근하여 몇 분간 공을 굴리며 놀았습니다만, AI는 전혀 공을 인식하지 못했습니다.

카우버 씨는 "전혀 예상치 못했습니다. 최첨단 인공지능조차 성능이 떨어지는 것으로 나타났습니다."라고 코멘트.

실험 결과를 보고, 카우버 씨와 도일 씨는, 마우스의 단순한 행동을 AI 개선의 새로운 돌파구로서  이용할 수 없을지 검토하였습니다. 이에, AI가 최근에 만난 가장 참신하고 흥미로운 것에 대해 스스로 물어보는(자기 성찰하는) 「The curious replay method(호기심 많은 재실행)」 트레이닝 방법을 설계했습니다.

이 트레이닝에 의해 「호기심을 갖게 된」 AI는, 재실험에서 붉은 공에 재빠르게 접근해, 관계를 맺었다고 합니다.

또한, Minecraft 베이스의 게임 「Crafter」에서도 퍼포먼스가 극적으로 향상되었다고 합니다. Minecraft와 마찬가지로 에이전트는 나무와 돌을 수집하는 방법을 학습하여 생존하고 적응하는 방법을 알아내야 합니다. 곡괭이를 만들고 철을 모아 새로운 도구를 만들어가야 합니다. 「호기심의 리플레이」 기법은 현재 AI의 최고점을 약 14점에서 19점으로 끌어올렸습니다(인간은 일반적으로 약 50점).

자세한 성과는 2023년 7월 25일, 제40회 기계 학습 국제회의(ICML2023)에서 발표될 예정입니다.