OpenAI의 연구팀은 "언어 모델의 정확성을 유지하면서 문장의 이해를 향상시키는 방법"의 개발 성과를 공개하고 있습니다.
Prover-Verifier Games improve legibility of language model outputs | OpenAI
https://openai.com/index/prover-verifier-games-improve-legibility/
PROVER-VERIFIER GAMES IMPROVE LEGIBILITY OF LLM OUTPUTS
(PDF 파일) https://cdn .openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf
채팅 AI나 AI 어시스턴트 등에 사용하는 언어 모델에는 '정확한 출력'뿐만 아니라 '알기 쉬운 문장의 출력도 요청됩니다. 그러나 지금까지의 언어 모델 개발 방법에는 「정확성을 높이면 가독성이 저하되고, 가독성을 높이면 정확성이 저하된다」 라는 문제가 존재하고 있어, 정확성과 가독성의 양립이 과제로 남아있었습니다.
OpenAI의 연구팀이 찾은 해결 방법은 언어 모델을 '보다 약한 모델에서도 검증 가능한 문장'을 출력하도록 트레이닝하는 것입니다.
구체적으로는 GPT-4와 같은 강력한 언어 모델과 「난해한 문장은 이해할 수 없는 약한 모델」을 준비해, 「문제에 대한 답변을 강력한 모델에 출력시켜, 강한 모델의 출력 정확성을 약한 모델로 체크시키는 흐름을 체크가 성공할 때까지 반복하는 방법으로 정확성과 가독성의 양립이 달성되었습니다.
이번 수법을 적용하기 전의 언어 모델에 「샤우나의 아버지는 샤우나의 5배의 나이이고, 샤우나는 알리야의 3배의 나이이다. 알리야가 3세라면, 샤우나의 아버지 나이는?」 같은 초등학교 레벨의 산수 문제를 푼 결과가 아래입니다. 「45」 라는 정답은 내고 있습니다만, 계산 과정의 설명이 난해입니다.
여기에 위에서 설명한 수법을 적용한 후의 답변이 아래입니다. "우선, 알리야의 나이는 3세이고, 계속해서, 샤우나의 나이는 알리야의 3배이기 때문에 9세...
연구팀은 이번 기법을 활용함으로써 "AI 시스템의 인간에 대한 의존도를 줄일 수 있습니다. AI를 탑재한 애플리케이션의 신뢰성과 안전성을 향상시킬 수 있습니다."라고 어필하고 있습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 1조의 텍스트 토큰, 34억개의 이미지, PDF, ArXiv의 논문 등을 포함한 오픈 소스 데이터 세트 MINT-1T (1) | 2024.07.26 |
|---|---|
| Stability AI가 1개의 동영상에서 다른 8개 앵글의 동영상을 생성하는 AI 모델 「Stable Video 4D」 를 발표 (1) | 2024.07.26 |
| 코드 생성 · 수학 · 추론 능력이 대폭 향상된 「Mistral Large 2」 출시 (1) | 2024.07.26 |
| Mistral AI가 코드 생성 특화형 AI 「Codestral Mamba」 를 오픈 소스 라이센스로 출시 (1) | 2024.07.22 |
| Microsoft가 엑셀을 이해하는 언어 모델 「SpreadsheetLLM」을 발표, Excel도 AI가 다루는 시대 (0) | 2024.07.19 |
| 세계 제일의 AI 미인, Miss AI의 결과 발표 (1) | 2024.07.15 |
| 영화의 전편 모두를 생성 AI로 제작하는 옴니버스 영화 (0) | 2024.07.11 |
| 중국의 Tencent가 NVIDIA에 의존하지 않고 자사제 AI 인프라 학습 능력을 20% 강화 (1) | 2024.07.10 |
