AI가 가짜 연구를 양산하는 '페이퍼 밀(논문 공장)'과의 싸움이 격화되고 있다

 

ChatGPT와 같이 인간과 동등한 수준에서 자연스러운 문장을 생성할 수 있는 AI와 텍스트를 입력하는 것만으로 고정밀 사진과 일러스트를 생성할 수 있는 AI가 등장한 것으로, 실적을 늘리기 위해 가짜 과학 논문을 AI에 집필시키는 경우가 보고되었습니다. 

가짜 과학논문을 양산하여 판매하는 기업은 '페이퍼 밀(paper mills : 논문 공장)'이라 불리며, 학술잡지의 심사 프로세스와 연구자의 실적 평가에 대한 신뢰성을 크게 뒤흔드는 문제를 일으키고 있습니다.

AI intensifies fight against 'paper mills' that churn out fake research
https://doi.org/10.1038/d41586-023-01780-w

시드니 대학의 분자 생물학자이자 출판 무결성(Integrity) 연구자인 제니퍼 번 씨는 "페이퍼 밀이 엄청난 데이터를 생성할 수 있는 능력은 AI에 의해 매우 급상승하고 있다"라고 말합니다. 또한 독일 학술 출판사에서 이미지 데이터 무결성 분석가를 맡고 있는 야나 크리스토퍼 씨는 "AI가 생성한 가짜 현미경 이미지를 본 적이 있지만, 이미지가 AI에 의해 만들어졌다고 증명하는 것은 여전히 과제가 되고 있다"라고 덧붙였습니다.

2023년 5월 영국에서 비영리단체의 출판윤리위원회(COPE)와 국제과학기술의학출판협회(STM)가 주최하는 'UNITED2ACT 정상회담'이 개최되었습니다. 이 정상 회담에는 연구자와 연구 분석가, 학술 출판사의 대표와 편집자가 모여 다양한 논의가 이루어졌습니다.

정상 회담에서 논의된 조치 중 하나는 실험의 원시 데이터 제출을 의무화하는 것입니다. 논문에 부기할 뿐만 아니라 원시 데이터를 학술 출판사가 받고 그 데이터가 진짜임을 확인하고 전자 워터마크를 넣는 방법입니다. 그러나 원시 데이터 제출 요구 사항은 출판사마다 크게 다르므로 출판사에서 원시 데이터 제출 요구 사항을 통합하는 것이 중요하다고 크리스토퍼 씨는 말합니다. 영국 학술 출판사에서 출판 윤리와 무결성을 담당하는 사비나 아람 이사도 크리스토퍼 씨의 의견에 동의하지만, 이러한 통일된 요건을 도입하는 데는 시간이 걸린다고 지적합니다.

STM은 페이퍼 밀에 의해 작성된 논문을 검출하는 소프트웨어의 개발을 진행하면서, 유사한 툴에 관한 자원을 모으고 있다고 합니다. 페이퍼 밀에 의한 논문의 증가에 의해, 가짜 논문을 검출하거나 이미 출판된 논문이 가짜인지 여부를 특정하는 기술에 대한 수요가 높아지고 있습니다.

아람 이사가 근무하는 출판사에서도 가짜 논문을 검출하는 툴을 활용하고 있다는 것. 논문에 부정이 의심되는 「윤리 안건」의 약 절반이 AI에 의해 작성된 페이퍼 밀 논문이라는 것. 2019년부터 2022년에 걸쳐 윤리 안건은 10배 이상으로 늘어나고 있으며, 2023년에 들어서 발생한 윤리 안건의 수는, 2022년의 발생수를 이미 넘어섰다고 합니다. COPE의 연구 컨설턴트인 데보라 칸 씨는 "AI가 연구자의 논문 작성을 지원하기 위해 활용되는 것은 틀림없지만, 여전히 정당한 논문과 AI로 그려진 완전히 날조된 논문을 구별해야 할 것입니다."라고 코멘트하고 있습니다.