OpenAI가 「정확하고 알기 쉬운 문장을 출력하는 AI」의 개발 방법을 공개
OpenAI의 연구팀은 "언어 모델의 정확성을 유지하면서 문장의 이해를 향상시키는 방법"의 개발 성과를 공개하고 있습니다.
Prover-Verifier Games improve legibility of language model outputs | OpenAI
https://openai.com/index/prover-verifier-games-improve-legibility/
PROVER-VERIFIER GAMES IMPROVE LEGIBILITY OF LLM OUTPUTS
(PDF 파일) https://cdn .openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf
채팅 AI나 AI 어시스턴트 등에 사용하는 언어 모델에는 '정확한 출력'뿐만 아니라 '알기 쉬운 문장의 출력도 요청됩니다. 그러나 지금까지의 언어 모델 개발 방법에는 「정확성을 높이면 가독성이 저하되고, 가독성을 높이면 정확성이 저하된다」 라는 문제가 존재하고 있어, 정확성과 가독성의 양립이 과제로 남아있었습니다.
OpenAI의 연구팀이 찾은 해결 방법은 언어 모델을 '보다 약한 모델에서도 검증 가능한 문장'을 출력하도록 트레이닝하는 것입니다.
구체적으로는 GPT-4와 같은 강력한 언어 모델과 「난해한 문장은 이해할 수 없는 약한 모델」을 준비해, 「문제에 대한 답변을 강력한 모델에 출력시켜, 강한 모델의 출력 정확성을 약한 모델로 체크시키는 흐름을 체크가 성공할 때까지 반복하는 방법으로 정확성과 가독성의 양립이 달성되었습니다.
이번 수법을 적용하기 전의 언어 모델에 「샤우나의 아버지는 샤우나의 5배의 나이이고, 샤우나는 알리야의 3배의 나이이다. 알리야가 3세라면, 샤우나의 아버지 나이는?」 같은 초등학교 레벨의 산수 문제를 푼 결과가 아래입니다. 「45」 라는 정답은 내고 있습니다만, 계산 과정의 설명이 난해입니다.
여기에 위에서 설명한 수법을 적용한 후의 답변이 아래입니다. "우선, 알리야의 나이는 3세이고, 계속해서, 샤우나의 나이는 알리야의 3배이기 때문에 9세...
연구팀은 이번 기법을 활용함으로써 "AI 시스템의 인간에 대한 의존도를 줄일 수 있습니다. AI를 탑재한 애플리케이션의 신뢰성과 안전성을 향상시킬 수 있습니다."라고 어필하고 있습니다.