OpenAI가 발표한 대화형 AI「ChatGPT」는, 대학생 레벨의 자유 기술 시험에 합격할 수 있다거나, 프로그래밍에 관한 Q&A사이트에서 ChatGPT를 이용한 응답이 급증했기 때문에 사용이 금지되는 등, 인간의 질문에 매우 자연스럽게 대답할 수 있어서 화제가 되고 있습니다.
주로 생물학의 검토 전 논문을 제공하는 bioRxiv에서 2022년 12월 말에 투고된 논문 중에서, ChatGPT로 쓴 가짜 연구 논문의 요지는, 종종 전문가라도 가짜라고 알아볼 수 없을 정도로 높은 퀄리티였다는 것이 지적되었습니다.
Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers | bioRxiv
Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plag
Background Large language models such as ChatGPT can produce increasingly realistic text, with unknown information on the accuracy and integrity of using these models in scientific writing. Methods We gathered ten research abstracts from five high impact f
www.biorxiv.org
AI의 연구 개발을 실시하는 단체인 OpenAI가 발표한 대화형 AI「ChatGPT」는, 테스트판의 공개로부터 1주일 내에 유저가 100만 명을 돌파하는 등 큰 주목을 받았습니다. 특히 채팅이나 논지의 정밀도가 화제가 되고 있으며,「LearnGPT」라는 데이터베이스에서 ChatGPT의 뛰어난 답변 예를 볼 수 있습니다.
대화형 채팅 AI 'ChatGPT'의 정밀도를 다양하게 실감시킬 수 있는 뛰어난 답변 예를 모은 'LearnGPT'
https://www.learngpt.com/
Browse, share, and discuss ChatGPT examples
LearnGPT is a community for ChatGPT enthusiasts to browse and share interesting ChatGPT examples.
www.learngpt.com
한편, ChatGPT가 채팅 외에도 잘하는 부문인 코딩 영역에서는 지식 커뮤니티의 Stack Overflow에서 ChatGPT를 이용한 투고를 금지하고 있다거나, 뉴욕시 교육국이 학교 컴퓨터에서 ChatGPT에 대한 액세스를 차단하는 등, ChatGPT의 유행을 경계하는 움직임도 볼 수 있습니다. 또한 머신러닝에 관한 국제회의의 하나인 International Conference on Machine Learning(ICML)은 "AI를 이용해 출력한 문장은 누구의 것인지 불명이다.", "가짜 논문의 오류를 학자가 책임질 것인가"등의 문제로부터, "ChatGPT와 같은 AI를 사용해 과학 논문을 집필하는 것을 금지한다."라는 방침을 발표하고 있습니다.
ChatGPT를 사용하여 연구 논문을 작성하는 것에 대해 과학자와 출판 전문가 사이에서 AI 채팅의 고도화로 인해 연구의 신뢰와 정확성이 손상될 우려가 퍼지고 있다. 2022년 12월 말에 bioRxiv 서버에 게시된 검토 전 논문에서는 논문의 요지를 ChatGPT로 작성하였을 때, 과학자라도 그것이 진짜 논문인지 AI에 의한 가짜 논문인지 구분이 되지 않는 경우가 있다고 지적되었습니다.
일리노이주 시카고에 있는 노스 웨스턴 대학의 카트린 가오가 이끄는 연구팀은 ChatGPT를 사용하여 연구 논문의 요지를 생성하여 과학자들이 그것을 구별할 수 있는지 검증했습니다. 연구자들은 의학 잡지 JAMA, The New England Journal of Medicine, The BMJ, The Lancet, Nature Medicine에 게재된 의학 연구 논문에서 50개를 선택하여 ChatGPT에게 작성하도록 하고, 의학 연구자 그룹에 위조된 논문 요지를 찾아보도록 의뢰했습니다. 우선, ChatGPT로 작성한 요지를 표절 체커에 걸었는데, 오리지널리티 스코어 중앙값이 100%가 되어, 표절이 검출되지 않았습니다. 다음으로, 같은 요지를 AI 출력 체커에 걸었는데, 66%를 ChatGPT에 의한 것으로 검출할 수 있었다고 합니다. 한편, 전문 연구자에 의한 체크는 ChatGPT에서 생성된 요지 중 32%를 진짜로 오인한 것 외에, 진짜 논문 중 14%를 AI에 의해 생성된 요지라고 오인했습니다.
연구팀은 논문에서 "ChatGPT는 설득력 있는 과학적 요지의 논문을 작성하고 있다."라고 평가하면서 "과학적인 문장을 쓰는데 도움이 되는 대규모 언어 모델에 대하여 어디까지가 윤리적으로 허용될지 그 경계는 아직 결정되지 않았습니다."라고 코멘트.
옥스퍼드 대학에서 기술과 규제에 대해 연구하고 있는 산드라 왁텔은 "저는 매우 걱정하고 있습니다. 어떤 것이 진짜이고 어떤 것이 가짜인지 전문가도 분간할 수 없는 상태가 되어 버린다면, 복잡한 테마를 풀기 위해서 반드시 필요한 존재를 잃어버리는 비참한 결과가 될 수 있습니다."라고 강한 우려를 전하고 있습니다. 왁텔 씨에 따르면 과학자가 연구의 진위를 판단할 수 없기 때문에 자신이 읽고 있는 연구가 가짜라는 이유로 문제 있는 조사 루트에 빠져 헤매어 버릴 가능성이 있는 것 외에도 연구 결과에 근거한 정책 결정이 제대로 이루어지지 않게 되는 등 사회 전체에 있어서도 영향을 미친다는 것.
한편, 뉴저지의 프린스턴 대학의 컴퓨터 과학자인 알빈드 나라야난은 "진지한 과학자들은 ChatGPT를 사용하여 논문의 요지를 생성하지 않을 것입니다. 어쨌든 문제는 이 도구가 정확하고 설득력 있는 요지를 생성할 수 있을지의 여부입니다. 그렇게 할 수 없는 이상, ChatGPT의 장점은 매우 적고, 단점은 너무 큰 것입니다."라고 코멘트.
논문에서는 "연구 논문이나 회의록 등의 과학 커뮤니케이션을 평가하는 측은 AI가 생성한 문장의 사용을 막기 위한 정책을 도입해야 한다. 허가를 받는 경우에는 AI에서 무엇을 생성했는지에 대한 공개에 대한 명확한 규칙을 설정해야 한다."라고 제안하고 있습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 아바타로 면접! 메타 버스 공간에서의 채용 활동 스타트(일본) (1) | 2023.02.01 |
|---|---|
| ChatGPT로 생성한 문장을 검출하는「DetectGPT」를 스탠포드 대학이 개발 (0) | 2023.01.30 |
| ChatGPT가 MBA · 경영학 석사 과정의 최종 시험에 합격했다는 보고 (0) | 2023.01.26 |
| ChatGPT와 비슷한 동작을 목표로 하는 오픈 소스 채팅 AI「ChatRWKV」 (2) | 2023.01.25 |
| 딥마인드가 ChatGPT의 대항마로 챗봇「Sparrow」베타판을 2023년 중에 릴리즈 검토 (1) | 2023.01.17 |
| 알고리즘 프레임워크의 연장선에 있는 AI 연구가 진정한 인공지능을 달성할 수 없는 이유는 '어포던스'의 부족 때문 (0) | 2023.01.17 |
| 구글 Cloud가 재고 상황을 추적할 수 있는 AI 툴을 발표 (0) | 2023.01.17 |
| 과금하면 연인이 되어주는 AI 채팅 앱에 성희롱 당하고 있다는 호소가 급증 (0) | 2023.01.17 |
