GPT-4와 Claude 2는 「16세기에 쓰여진 라틴어 마술서」까지 번역 가능하며, 인간 전문가에 필적한다

 

AI의 지원은 학술 연구에 큰 변화를 가져오고 있습니다. 캘리포니아 대학 산타크루즈교의 역사학자인 벤자민 브린 씨가 OpenAI의 대규모 언어 모델(LLM)인 GPT-4와 Anthropic의 Claude 2를 사용하여 16세기 라틴어 서적을 번역시켜 보니, 놀랍게도 높은 정밀도의 결과를 얻었다고 보고했습니다.

Translating Latin demonology manuals with GPT-4 and Claude

Translating Latin demonology manuals with GPT-4 and Claude

Claude는 다음 세 가지 기능에 주목했습니다.

・전근대 서적을 OCR 스캔을 통해 얻은 불완전하고 혼잡된 문장에서 원전의 내용을 추측해 내는 능력.
・Google 번역기 같은 전용 번역기와는 달리, 책이 쓰인 역사적 배경 등도 포함한 광범위한 학습 데이터를 가진다는 것.
・요약과 분석을 수행하는 능력.

특히 브린 씨와 같은 역사가들은 다양한 언어의 역사서를 살펴야 하기 때문에 방대한 자료 중에서 연구 테마와 관련된 것을 특정할 수 있는 AI의 능력은 매우 중요한 부분입니다.


◆ 테스트 1：라틴어 번역
AI의 능력을 테스트하기 위해, 브린 씨는 1599년에 출판된 악마학 서적 「Magical Investigations(원제：Disquisitionum Magicarum Libri Sex)」를 GPT-4와 Claude 2로 번역시키기로 했습니다. 이 책의 저자인 마틴 델리오는 예수회의 수도사이면서 마술과 악마의 소환에 깊이 익숙해져 있으며, 이 흑마술에 대항하기 위한 안내서로 'Magical Investigations'를 저술했다는 것.

테스트에 있어서, 브린 씨는 Google 도서의 OCR 기능에 의해 탈자나 세월에 의해 알아볼 수 없는 글이 있는 상태의 텍스트화된 원문을, 재작성하지 않고 그대로 AI에 입력해, 그 내용을 가능한 한 자세하게 번역하도록 지시했습니다. 브린이 사용한 프롬프트 및 번역 결과는 아래 링크에서 볼 수 있습니다.
https://chat.openai.com/share/fc83b15c-065f-42ec-bdd0-751397277c5d

그 결과, Claude 2와 Bing Chat의 크리에이티브 모드를 통해 사용한 GPT-4는 브린 씨가 성경 시편 91장 6절에 언급되어 있는 '정오의 악마(Noonday Demon)'에 대해 이해하는 자료로서 손색없는 번역 결과를 보여주었습니다.

GPT-4의 결과는 히브리어에 대한 설명에 다소 어려움을 겪었지만 Claude 2의 결과에 대해 브린 씨는 "모든 것을 통틀어 최고의 번역이라고 생각합니다."라고 코멘트.


◆ 테스트 2：라틴어의 요약
이하는, Claude 2에 악마의 타입과 특징, 언급되고 있는 페이지를 표로 나타내도록 지시한 결과입니다. 100,000개의 토큰 콘텍스트 창에 해당하는 Claude 2는 요약에서도 좋은 결과를 보여주었습니다.

브린 씨가 원전을 체크해 보니, 표에 쓰인 그대로 그 악마에 대한 설명이 발견되었습니다. 일부 페이지가 잘못되어 있는 곳도 있었습니다만, 이것은 페이지 번호 인쇄의 더러움이나 오인식에 기인하는 실수일 것이라고 브린 씨는 생각하고 있습니다.

이 결과로부터 브린 씨는 "이러한 도표나 요약은 다언어를 연구하는 사람에게 있어서 게임 체인저가 될 것으로 생각합니다. 언어 연구의 어시스턴트와 같은 역할을 하게 함으로써 연구의 희망을 얻을 수 있다는 것입니다."라고 말했습니다.


◆ 테스트 3：포르투갈어 의학서 번역
악마 이야기에 실증을 느낀 브린 씨는, 17세기~18세기에 활동한 포르투갈의 의사 João Curvo Semedo의 서적을 테마로 하기로 했습니다. 그리고, 1707년에 Curvo Semedo가 쓴 증례 연구에 관한 의학서의 일문을 GPT-4로 번역시켰는데, Curvo Semedo가 당시의 의료자로서는 드물게 수은의 독성을 올바르게 인식하고 있었다는 것이 판명되었습니다. 

브린 씨가 사용한 프롬프트 및 번역 결과는 아래 링크에서 볼 수 있습니다.
https://chat.openai.com/share/c1cfcd6f-235a-4f07-9f4e-8c4e58458f3e

현대에는 수은이 유해하다는 것이 널리 알려져 있지만, 20세기까지는 매독이나 우울증 치료약으로서 널리 사용되었으며, 유명인 중에서는 에이브러햄 링컨도 수은을 약으로 복용하고 있었다고 여겨지고 있습니다. 브린 씨는 별생각 없이 Curvo Semedo의 책을 선택했지만 GPT-4 덕분에 역사적으로 중요한 발견을 얻을 수 있었습니다.

덜덜...

앞서 언급했듯이, GPT-4는 라틴어 번역에는 약간 부정확한 점이 있었지만, 최근의 포르투갈어는 능숙했으며, 특히 의학서 번역 기술에 관해서는 인간 전문가에 필적하는 것이라고 브린 씨는 평가하고 있습니다. 또한 GPT-4는 Curvo Semedo가 언급한 치료제를 아래와 같이 나열할 수 있었습니다.
 

이렇게 3가지 테스트 결과에 대해 브린 씨는 "LLM에 의한 1차 자료의 번역과 분석은 역사 연구자와 번역자에게 매우 유용한 도구가 된다는 것을 알았습니다. 그러나 어디까지나 도구이므로 연구자를 대신할 수는 없습니다."라고 말했습니다.