ChatGPT와 같은 채팅 AI가 출력하는 텍스트에는 AI만의 특징이 있다는 것으로, 스탠포드 대학이 ChatGPT와 같은 채팅 AI가 만든 문장을 검출하는「DetectGPT」를 개발하고 있습니다.
DetectGPT
https://ericmitchell.ai/detectgpt/
Stanford introduces DetectGPT to help educators fight back against ChatGPT generated papers - Neowin
Stanford introduces DetectGPT to help educators fight back against ChatGPT generated papers
DetectGPT is the latest tool on the frontlines to combat ChatGPT and other machine-generated text. If the tool works as advertised, educators will finally have something in their arsenal.
www.neowin.net
고정밀도인 한편, 단점도 있는 ChatGPT에의 대응에 학문계는 고민을 더하고 있어, 학술지 Science는 채팅 AI 를 논문의 저자로 인정하지 않는다는 정책 개정을 실시하고 있습니다.
한편, 논문에서 도용 및 복사 붙여넣기를 탐지하는 서비스를 제공하는 Turnitin도 ChatGPT로 작성된 텍스트를 탐지하는 도구의 개발을 진행하고 있습니다.
스탠포드 대학의 에릭 미첼 씨가 개발하고 있는 「DetectGPT」도, Turnitin이 개발하고 있는 것과 같은 채팅 AI로 생성한 텍스트의 검출 툴입니다.
대규모 언어 모델에서 샘플링한 텍스트는 모델의 로그 확률 함수의 음의 곡률 영역을 차지하는 경향이 있기 때문에,「DetectGPT」에서는 이것을 활용해, 어떤 문장이 특정 대규모 언어 모델로부터 만들어졌는지 여부를 판단하는 새로운 곡률 기반 기준을 정의합니다.
개별 분류자의 교육, 실제 문장 및 생성된 문장 데이터 세트의 수집, 생성된 텍스트에 대한 명시적 워터마크가 필요하지 않으며, 대상 모델에 의해 계산된 로그 확률과 다른 사전 학습된 언어 모델 패시지에 의한 랜덤 섭동만이 사용된다는 것.
테스트 결과 다른 검출 방법보다 뛰어난 식별력을 발휘하고 있다는 것으로, 자연 언어 처리 AI 모델 GPT-NeoX-20B에서 생성된 가짜 뉴스 기사의 검출이 기준선인 0.81 AUROC 에서 0.95AUROC로 개선되었다고 보고되었습니다.
코드와 데이터는 곧 공개될 예정입니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Microsoft가 ChatGPT보다 빠른 GPT-4를 검색 엔진 Bing에 탑재 (0) | 2023.02.03 |
|---|---|
| 구글은 ChatGPT와 같은 신형 채팅봇「Apprentice Bard」를 테스트 중 (0) | 2023.02.03 |
| Microsoft Research가 생물의학 분야에 특화한 AI「BioGPT」를 개발 (0) | 2023.02.03 |
| 아바타로 면접! 메타 버스 공간에서의 채용 활동 스타트(일본) (1) | 2023.02.01 |
| ChatGPT가 MBA · 경영학 석사 과정의 최종 시험에 합격했다는 보고 (0) | 2023.01.26 |
| ChatGPT와 비슷한 동작을 목표로 하는 오픈 소스 채팅 AI「ChatRWKV」 (2) | 2023.01.25 |
| 대화형 AI 'ChatGPT'가 쓴 논문인지 연구자는 구분할 수 없다는 보고 (0) | 2023.01.17 |
| 딥마인드가 ChatGPT의 대항마로 챗봇「Sparrow」베타판을 2023년 중에 릴리즈 검토 (1) | 2023.01.17 |
