보안 기업인 Wiz가 악의적인 AI 모델을 Hugging Face에서 실행함으로써 그 AI 모델을 통해 Hugging Face의 시스템에 침입할 수 있는 취약성을 발견했다고 발표했습니다.
Hugging Face works with Wiz to strengthen AI cloud security | Wiz Blog
Hugging Face works with Wiz to strengthen AI cloud security | Wiz Blog
Wiz researchers find architecture risks that may compromise AI-as-a-Service providers and risk customer data; works with Hugging Face on mitigations.
www.wiz.io
Hugging Face partners with Wiz Research to Improve AI Security
Hugging Face partners with Wiz Research to Improve AI Security
Hugging Face partners with Wiz Research to Improve AI Security We are pleased to announce that we are partnering with Wiz with the goal of improving security across our platform and the AI/ML ecosystem at large. Wiz researchers collaborated with Hugging Fa
huggingface.co
Wiz Research identifies critical risks in AI-as-a-service - YouTube
Hugging Face에서는 AI 모델의 업로드 및 다운로드 외에도, 업로드된 AI를 Hugging Face 시스템 상에서 실행하여 동작을 쉽게 확인하는 "Inference API"라는 기능을 제공합니다.
AI 모델은 개발된 프레임워크를 기반으로 다양한 형식으로 저장됩니다. Hugging Face에는 다양한 형식의 AI 모델을 업로드할 수 있지만, AI 모델의 형식에는 'pickle'과 같이 원격 코드 실행이 가능하면서 안전하지 않은 것도 존재합니다.
그래서 Wiz 팀은 pickle 형식으로 악성 AI 모델을 만들고 Hugging Face에 업로드하고 Inference API에서 실행했습니다. 이 AI 모델은 일반적인 입력에는 일반 AI처럼 작동합니다.
그러나 "Backdoor"라는 문자가 프롬프트에 입력되면 쉘 명령을 실행하도록 설정되어 있습니다.
Wiz의 팀은 이 악의적인 AI 모델에 명령을 실행시켜 Hugging Face 시스템에 침입하는 데 성공했습니다. 궁극적으로는 권한 승격에도 성공하여 전체 서비스를 탈취할 수 있었다고 합니다.
위에서 언급했듯이 AI 모델을 실행하는 서비스 인 AI-as-a-Service에서 악의적인 AI 모델은 큰 위협이 됩니다. 악의적인 AI 모델을 실행하면 시스템을 탈취하여 자사 및 타 고객의 데이터에 액세스 할 수 있는 것은 물론 악의적인 AI 응용 프로그램을 컴파일하여 CI/CD 파이프 라인을 잡아서 공급망 공격을 받을 가능성도 있다는 것.
Hugging Face는 보안 문제의 대부분은 pickle 형식의 모델에서 발생하고 있으며, 운영 환경에서는 pickle 형식을 사용하지 않는다고 말하고, Wiz의 클라우드 보안 서비스 "Wiz for Cloud Security Posture Management"를 사용하는 등 안전성을 높이기 위한 노력을 하고 있다는 것을 어필하며 "우리는 향후에도 AI 커뮤니티의 보호와 보안의 리더가 되어 갈 것"이라고 호소했습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 2025~2026년에는 AI 모델 학습 비용이 14조 원에 달해 인류를 위협하는 AI가 등장? (67) | 2024.04.16 |
|---|---|
| Apple이 스마트폰 화면을 인식할 수 있는 멀티모달 LLM 「Ferret-UI」 를 발표 (55) | 2024.04.12 |
| 무료로 1개월에 1200곡까지 AI 작곡이 가능한 「Udio」 퍼블릭 베타판이 공개 (52) | 2024.04.12 |
| OpenAI가 이미지를 읽을 수 있는 AI 「 GPT-4 Turbo with Vision」 을 일반에 공개 개시 (56) | 2024.04.11 |
| 페이스북 계정을 탈취, ChatGPT 등의 AI 서비스를 가장하여 멀웨어를 퍼트리는 활동을 관측 (5) | 2024.04.09 |
| 이스라엘은 AI 시스템 「Lavender」 를 이용해 하마스 등 표적 3만7000명을 식별하고 공격중(식별률은 90%) (55) | 2024.04.05 |
| AI 생성 가짜정보와 싸우는 비영리 단체 「TrueMedia.org」 가 딥페이크 검출기를 공개 (8) | 2024.04.05 |
| 세계 최초의 완전 자율형 AI 엔지니어 「 Devin 」 등장 (55) | 2024.04.04 |
