유로폴이 ChatGPT 등의 AI가 왜 범죄에 이용되기 쉬운지 정리

 

ChatGPT 등에 사용되는 대규모 언어 모델(LLM)에 대한 사회적 관심의 높아짐에 따라 이러한 모델을 범죄자가 어떻게 악용하는지, 수사관의 일상 업무에 어떻게 도움이 되는지를 알아보기 위해 유럽 형사 경찰기구(유로폴)가 전문가들을 모아 워크숍을 개최하고, 거기서 얻은 지식을 정리한 리포트를 공개했습니다.

Europol Warns on the Criminal Usage of ChatGPT and Its Implications for Law Enforcement

https://circleid.com/posts/20230328-europol-warns-on-the-criminal-usage-of-chatgpt-and-implications-for-law-

유로폴 전문가에 따르면 범죄자가 언어 모델을 이용하여 얻을 수 있는 이익은 많지만, 특히 활용하기 쉬운 범죄는 '사기', '헛소문', '사이버 범죄'라는 것.

ChatGPT와 같은 AI는 인간과 다르지 않은 수준의 매우 현실적인 문장을 만들 수 있기 때문에 피싱 사기와 같은 문장을 만드는 데 가장 적합하다는 것은 의심의 여지가 없습니다. 지금까지의 피싱 사기 메일 중에는 문법의 잘못이나 오자를 많이 볼 수 있었기 때문에, 어느 정도는 구별하는 것이 가능했습니다만, 앞으로는 보다 자연스러운 사기 메일이 증가할 것으로 생각됩니다.

OpenAI가 실시한 실험에서, ChatGPT에도 사용되는 모델 「GPT-4」가 인간을 가장하고, 봇을 막는 검증 시스템 「CAPTCHA」를 무력화시켰습니다. 이러한 능력을 응용하여 진짜 같은 가짜를 만들어 인간을 속이는 범죄자가 나타날 수도 있습니다.

(PDF파일) GPT-4가 "나는 로봇이 아니다"라고 피로

ChatGPT는 현실적인 문장을 빠르고 대규모로 작성하는 것이 뛰어나므로, 특정 시나리오를 반영한 메시지를 비교적 적은 노력으로 작성·확산할 수 있어, 프로파간다나 가짜 정보의 발신에 적합합니다.

소셜 미디어에서 ChatGPT를 활용하여 특정인을 칭찬하는 메시지를 대량으로 만들어내고, 특정 상품의 정당성을 높여 투자를 촉구, 헤이트 스피치나 테러리즘 콘텐츠를 확산시킬 수 있습니다. 이러한 영향력에 대응하기 위해 OpenAI는 선전을 방지하기 위한 규제 방법을 검토하고 있습니다.

ChatGPT는 프로그래밍 언어로 코드를 생성하는 것도 가능합니다. 따라서 기술적 지식이 없는 범죄자가 악성 코드를 작성하는 데 있어서 ChatGPT는 귀중한 리소스가 됩니다.

지식이 없는 사람이 처음부터 코드를 작성하는 것은 물론, 지식이 있는 사람이 더욱 강화된 코드를 생성하여 사이버 범죄를 가속시킬 수 있습니다. 사이버 보안 기업인 Check Point Software의 보고에 따르면, ChatGPT로 악성코드를 생성하는 서비스도 이미 등장한 것으로 나타났습니다.

"ChatGPT를 사용하여 악성 코드를 만드는 서비스"를 해커가 판매 중

"ChatGPT를 사용하여 맬웨어를 만드는 서비스"를 해커가 판매 중

본래, ChatGPT에는 악의적인 코드나 유해한 말을 생성하지 못하게 하는 기능이 갖추어져 있습니다만, 이러한 제한을 회피하는 방법도 잇달아 발견되고 있습니다.

ChatGPT를 강제로 대답시키는 '제일 브레이크(탈옥)' 대화 모음「Jailbreak Chat」

GPT4를 사용하여 GPT3.5를 해킹하고 제일 브레이크 가능?

이러한 사태에 대응하기 위해, 유로폴은 법집행기관도 기술을 익혀야 한다고 합니다. 대규모 언어 모델의 영향을 파악하는 것은 물론, 대규모 언어 모델에 의해 작성된 콘텐츠의 정확성을 평가하는 방법에 대해 훈련을 받거나 기술 부문 전문가와의 제휴 방법도 배워야 한다고 유로폴은 지적합니다.

유로폴은 "기술이 진보하고 새로운 모델이 늘어남에 따라 법 집행기관은 이러한 개발의 최전선에 서서, GPT의 악용을 예측하고 방지하는 것이 점점 중요해질 것"이라고 말하고 있습니다.