Open AI가 2020년 6월에 발표한 영어권을 중심으로 "언어 모델은 너무 위험하다", "새로운 돌파구다" 등 큰 화제가 된 언어 모델 "GPT-3"가 새로운 성과를 이룩했습니다. 대학의 다양한 수업에서 합격점을 획득했다고, 교육계 Web 사이트 EduRef.net 이 보도했습니다.
또한 OpenAI는 우주개발 기업 스페이스 X 사의 공동 설립자 및 CEO, 테슬라의 공동 설립자 및 CEO 등을 역임하고 있는 일론 머스크 씨 등이 설립한 비영리 단체입니다.
이번 EduRef.net은 신입 사원 및 학생 그룹, GPT-3에게 보고서 과제에 임해달라고 각각 익명으로 평가했습니다. 그 결과, GPT-3는 4과목에서 평균 C등급을 획득하고 불합격은 1과목뿐이었다고 합니다.
What Grades Can AI Get in College?
We hired a panel of professors to create a writing prompt and gave it to a group of recent grads, undergraduate-level writers, and Artificial Intelligence.
www.eduref.net
구체적으로는, 연구 방법에서 인간은 「B」와 「D」, GPT-3는 「C」였습니다. 미국 역사 부문에서 인간은 「B」, GPT-3는 「B-」로 중간 정도의 위치입니다. 법률에서는 인간은 「A ｰ」, 「C ｰ」, 「F（불합격）」, GPT-3은 「B-」로 합격이었습니다. 이 과목에서는 GPT-3 이상의 성적을 받은 학생은 3명 중 1명뿐이었습니다.
창작 이야기를 쓰는 과제에서는 인간은 「A」,「B+」,「D+」로 크게 엇갈렸고, GPT-3의 작문 능력은 기술(技術)적인 것이 많은 편으로, 「F」로 불합격했습니다.
논문을 평가한 교수 중에서는 GPT-3가 창작한 작문에 "문장이 진부하다", "너무 개인적이다", "개성이 없다"라는 비판이 나왔습니다. EduRef.net는 "GPT-3가 실패한 것은 문장의 부자연스러움이나 인용 부족, 지루함보다는 강한 이야기를 만들 수 없었기 때문"이라고 설명합니다.
EduRef.net는 자연언어 생성 자체는 "The Day A Computer Wrote A Novel"등 다양한 콘텐츠 작성에 이용되고 있는 것을 근거로 GPT-3가 크리에이팅 라이터로 불리기에는 아직 좀 더 조정이 필요하다고 언급하고 있습니다.
또한 보고서 작성 소요시간을 보면, 신입 사원과 학생들의 그룹은 평균 3일이 걸렸지만 GPT-3는 3분 ~ 20분 만에 끝났다고 합니다. 덧붙여서, GPT-3가 가장 많은 시간을 사용한 과제는 창작 이야기를 쓰는 과제였다고 합니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 위성 데이터로 가상 공간에 세계를 자동 생성하는 AI (0) | 2021.06.05 |
|---|---|
| 소프트뱅크 그룹의 손정의, AI혁명에 열정「10 조엔도 부족하다」 (1) | 2021.05.23 |
| 구글이 사진만 찍어도 AI로 피부병을 체크해주는 앱 개발 (0) | 2021.05.22 |
| 게임 플레이 중에 날아 오는 욕설을 자동으로 음소거 해주는 AI 'Bleep' (0) | 2021.04.10 |
| 딥 페이크로 합성된 얼굴을 분별하는 열쇠는 '눈빛' (0) | 2021.03.16 |
| 고급 이미지 인식 AI는 필기나 스티커 등의 '적대적 이미지'에 쉽게 속아버릴 수 있다 (0) | 2021.03.10 |
| AI가 사진으로부터 선화(펜터치)를 1분만에 생성 (0) | 2021.03.08 |
| AI가 적중률 높은 곡을 생성하는 무료 앱, 과거의 히트곡을 대량으로 학습 (0) | 2021.03.04 |
