ChatGPT 등 채팅 AI의 보안 기능을 파괴하는 멀웨어 「Morris II」가 등장

 
 
OpenAI의 ChatGPT나 Google의 Gemini 같은 채팅 AI를 조작할 수 있는 Worm 「Morris II」를 통하여 사용자의 개인정보를 훔치는 데 성공한 연구원이 등장했습니다.

ComPromptMized
https://sites.google.com/view/compromptmized

ComPromptMized

New Malware Worm Can Poison ChatGPT, Gemini-Powered Assistants | PCMag
https://www.pcmag.com/news/malware-worm-poison-chatgpt-gemini-powered-assistants

Morris II는 생성 AI를 활용하는 애플리케이션을 타깃으로 한 제로 클릭 웜으로, 이스라엘 공과 대학과 코넬 공과 대학, 소프트웨어 개발 기업 Intuit 등의 연구원들에 의해 개발되었습니다. 덧붙여,「Morris II」 이름의 유래는 초기 인터넷으로 확산된 웜 「Morris」로부터 유래하고 있습니다.

Morris II는 사용자가 어떠한 조작 없이도 공격 대상이 되는 단말에 감염시킬 수 있어 감염 단말로부터 다른 단말로 확산되면서 단말로부터 데이터를 훔치거나 단말에 악성코드를 감염시켜 수 있습니다. 연구팀은 Morris II를 사용하여 ChatGPT와 Gemini, 오픈 소스 AI 모델인 LLaVA 등에 대한 공격을 성공적으로 수행했다고 발표했습니다.

연구팀은 Morris II의 개발 경위를 이렇게 밝혔습니다.

과거 1년간 생성 AI 기능을 앱에 통합한 반자율형 또는 완전 자율형 에이전트로 구성된 상호 연결형 생성 AI 생태계가 다수 등장했습니다. 기존 연구는 에이전트 생성 AI 계층에 대한 위험(다이얼로그 포이즈닝, 개인 정보 보호 누출, 탈옥 등)을 강조하고 있지만, 공격자는 에이전트 생성 AI 구성 요소를 악용하여 생성 AI 전체에 대해 사이버 공격을 가하는 악성코드를 개발할 수 있을까 하는 의문이 들었습니다.

생성 AI 시스템의 대부분은 프롬프트를 입력하여 작동하지만, 이 프롬프트에 적용된 규칙(유해한 콘텐츠 생성을 차단하는 등)을 Morris II 로 파괴할 수 있습니다.

연구팀은 "공격자가 입력에 프롬프트를 삽입하고 생성 AI 모델에 의해 처리될 때 모델에 입력을 출력으로 복제하고 악의적인 활동(페이로드)을 수행하도록 모델에 촉구할 가능성이 있음을 보여줍니다. Morris II 와 같은 AI 웜은 현재까지는 발견되지 않았지만, 여러 연구자들이 "스타트업, 개발자, 기술 기업이 우려해야 할 보안 위험"이라고 지적했습니다.

연구팀은 Morris II 에서 "적대적 자기 복제 프롬프트"를 채용하고 있다고 설명하고 있으며, 이것은 "생성 AI 모델이 응답으로 다른 프롬프트를 출력하도록 트리거하는 프롬프트"라는 것입니다. 즉, AI 시스템은 응답에서 일련의 추가 명령을 생성하도록 지시받을 것입니다. 따라서 연구팀은 "적대적 자기 복제 프롬프트"에 대해 "전통적인 SQL 주입 공격 및 버퍼 오버플로우 공격과 거의 유사하다."라고 설명했습니다.

또한 Morris II 의 개념 실증용 코드가 GitHub에 공개되어 있습니다.

GitHub - StavC/ComPromptMized: ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
https://github.com/StavC/ComPromptMized

GitHub - StavC/ComPromptMized: ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications