본문 바로가기
AI · 인공지능/AI 뉴스

「ChatGPT 덕분에 논문을 읽는 수고가 99% 줄었다」연구실에서는 AI가 어떻게 활용되고 있는가?

by 두우우부 2023. 5. 8.
반응형

위스콘신 대학 매디슨 교의 교수가 ChatGPT를 사용한 재료공학 연구에서 큰 성과를 올렸다고 보고했습니다.

ChatGPT makes materials research much more efficient
https://engineering.wisc.edu/news/chatgpt-makes-materials-research-much-more-efficient/

 


재료 과학자들은 데이터 세트에 단지 약간의 숫자를 추가하기 위해서 긴 연구 논문을 다운로드하고 구석구석까지 읽는 경우가 많다고 합니다. 그래서 이런 시간이 걸리는 작업을 논문을 읽고 정보를 제공하는 것이 능숙한 AI에 맡겨보기로 했습니다.

그러나 ChatGPT가 강력하긴 하지만, 논문의 전체 텍스트에서 데이터를 찾아 추출하도록 요청하는 것은 여전히 어렵습니다. 그래서 폴락 씨는 ChatGPT에 한 문장씩 확인하고 거기에 필요한 데이터가 포함되어 있는지 여부를 판단하도록 요청한 다음 표 형식으로 데이터를 출력하도록 지시했습니다. 이렇게 하면 인간 과학자가 표와 문장을 보고 제대로 관련성이 있는 데이터를 꺼낼 수 있는지 확인할 수 있습니다.

 

이 기술은 약 90%의 정확성을 자랑했으며, 폴락은 ChatGPT를 사용하여 금속 유리(Metallic glasses)의 임계 냉각 속도 데이터베이스를 구축하는 데 성공했습니다. 폴락 씨는 이 성과를 프리프린트 서버의 arXiv에 공개하고 있습니다.

[2302.04914] Flexible, Model-Agnostic Method for Materials Data Extraction from Text Using General Purpose Language Models
https://doi.org/10.48550/arXiv.2302.04914


AI로 논문을 읽는 수고를 99% 삭감할 수 있었던 폴락 씨는, 새로운 정밀도의 향상과 완전한 자동화를 향해 다음 단계로 나아갔습니다. 바로, AI에 효율적으로 대답을 생성하기 위한 질문이나 지시를 조립하는 '프롬프트 엔지니어링'입니다.

연구팀은 프롬프트 엔지니어링을 사용하여 AI가 추출한 데이터를 AI로 검토하고 잘못된 가능성을 찾는 일련의 질문을 고안했습니다. 이렇게 데이터 재확인을 반복함으로써 ChatGPT는 거의 모든 경우에 잘못된 데이터를 식별할 수 있게 되었습니다.

"ChatExtract"라고 명명된 이 방법으로, 대부분의 케이스에서 인간에 필적하거나 인간을 능가하는 90% 이상의 적합률과 재현율을 내는 데 성공했다는 것. 폴락 씨와 모건 씨는 이것을 논문에 정리해 2023년 3월에 공표하고 있습니다.
 
[2303.05352] Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering - Example of ChatGPT
https://doi.org/10.48550/arXiv.2303.05352



폴락 씨는 ChatExtract에 대해 "가장 중요한 점은 AI가 잘못된 데이터를 식별해 낼 수 있다는 점입니다. 그 수정 방식은 알 수 없을지도 모르나, 적어도 사실과 다른 데이터를 취득해 버릴 염려는 없습니다. 또한 많이 어렵거나 많은 지식이 필요하지 않다는 점도 중요합니다. 이전까지는 이런 일을 하기 위해서는 수백 줄의 코드를 작성해야 했고, 그다지 좋은 결과를 얻지 못했습니다. 그러나 이제는 ChatGPT와 같은 도구 덕분에 이러한 능력이 크게 향상되었습니다."라고 설명합니다.

모건 씨는 AI가 대학원생이나 과학자 등의 연구자를 대체할 수 없을 것이라 생각합니다. 오히려, AI라는 툴의 이용에 의해, 연구자는 지금까지 시간이나 자금, 인원의 부족으로 할 수 없었던 프로젝트를 쉽게 진행할 수 있을 것이라고 주장합니다.

인공지능과 과학의 미래에 대해 모건 씨는 "지금까지 Google 및 기타 검색 도구에서 논문과 자료를 찾아서 읽고 데이터를 추출하여 특정 분야에 대한 연구를 수행해 왔습니다. 하지만 이제는 대규모 언어 모델을 사용하여 어떤 사항에 대한 정보를 수집하고 우리가 고안한 기술을 사용하면, 몇 시간 내에 데이터베이스를 구축할 수 있습니다. 조금 전만 해도, 며칠이나 걸려 버려 연구가 늦어지거나, 연구의 방향성이 흔들려 버릴 수도 있었던 정보 수집이, AI로 인하여 매우 쉽게 가능해졌습니다"라고 말했습니다.

반응형