미국 퍼듀 대학의 연구원이 실시한 조사,
「PDF: Who Answers It Beer? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Soware Engineering estions(누가 맥주 소리를 내었는가? 소프트웨어 엔지니어링 솔루션에 대한 ChatGPT 및 스택 오버플로 답변에 대한 심층 분석)」에 따르면, ChatGPT는 소프트웨어 엔지니어링에 관련된 질문의 신뢰성에 문제가 있음이 밝혀졌습니다.
Stack Overflow는 엔지니어끼리 질의응답을 하는 사이트로, 이번 조사에서는 Stack Overflow에 게재된 517건의 질문을 ChatGPT에 입력하여 답변의 정확성, 일관성, 포괄성, 간결성을 평가했습니다.
한때는 소프트웨어 엔지니어 및 프로그래머의 대부분이 이 포럼을 통해 오류를 해결했습니다. 그러나, ChatGPT의 등장으로 실시간 응답이 가능해지면서 많은 전문가들이 ChatGPT를 이용하게 되었습니다.
이 조사의 결과, 517건의 질문 중, ChatGPT에 의한 오답이 52%인 269건에 달하는 것으로 판명되었습니다.
또한 제공된 답변의 77%는 중복된 답변이었습니다. 덧붙여, 대답의 65%는 포괄적이며, 질문의 모든 포인트에 대답을 시도하고 있었습니다.
게다가 프로그래밍 지식 레벨이 다른 12명을 대상으로, ChatGPT의 응답 분석을 실시했는데, ChatGPT의 오답을 간파하지 못한 확률이 39.34%나 되었습니다.
ChatGPT에 의해 생성된 답변은 풍부한 언어적 특징을 가지고 있어, 이것이 사용자가 ChatGPT의 답변을 선호하는 원인이 되어, 그 결과, 기본적인 오류나 모순을 간과하는 일이 많다는 것을 알 수 있습니다.
이 연구 결과에 따르면, 연구자들은 ChatGPT가 제공하는 답변에 오정보가 포함될 위험이 있으며, 그 대답을 그대로 받아들이는 것은 오정보의 확산으로 이어질 수 있다고 지적하고 있습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| OpenAI가 「GPT-3.5 Turbo」의 파인 튜닝 기능을 릴리즈, 독자적인 커스터마이즈가 가능 (1) | 2023.08.24 |
|---|---|
| AI에 의한 레시피 앱이 염소 가스를 발생시키는 등 식사에 부적절한 메뉴를 생성한 것으로 보고된다 (3) | 2023.08.23 |
| AI로 카페 고객의 체류시간을 한 눈에 알 수 있다 (1) | 2023.08.23 |
| '지금 망설이면 뒤쳐진다' IT리더의 3분의 2가 AI 활용에 의한 직원 효율 향상을 기대(AMD 조사) (1) | 2023.08.23 |
| Google이 「대규모 시각 모델(LVM)」 에 대해 해설, 데모도 공개 (2) | 2023.08.23 |
| 알리바바 클라우드가 대규모 언어 모델 「퉁이치엔원(Tongyi Qianwen)」을 오픈소스로 공개 (1) | 2023.08.23 |
| 미 정부가 「AI 사이버 챌린지」를 개시, 상금 총액은 2천만 달러 (1) | 2023.08.23 |
| 도쿄대학 마츠오 연구실에서 대규모 언어 모델 「Weblab-10B」를 오픈소스로 공개 (2) | 2023.08.22 |
