ChatGPT 등 AI를 이용한 봇이 스팸으로 커뮤니티를 망치고 있는 실정을, 게시판형 소셜 뉴스 사이트 Reddit의 모더레이터(사회자)가 고발하고 있습니다.
Reddit Moderators Brace for a ChatGPT Spam Apocalypse
Reddit Moderators Brace for a ChatGPT Spam Apocalypse
Reddit moderators say they already see an increase in spam and that the future will “require a lot of human labor.”
www.vice.com
제네레이티브 AI는 다양한 일이나 취미에 활용할 수 있는 한편, 유럽 형사 경찰기구가 전문가를 모아 개최한 워크숍의 리포트에서는, 특히 ChatGPT 등에 사용되는 대규모 언어 모델(Large Language Model)이, 가짜(정보)의 확산과 사기, 사이버 범죄에 활용될 가능성이 높다고 지적했습니다. ChatGPT는 매우 현실적인 문장을 만들 수 있기 때문에, 사기나 스팸에 사용되는 문장에 문법 오류나 이상한 표현이 줄어들어, 자연스러운 사기 문서가 대량 생산될 것으로 보입니다.
유로폴이 ChatGPT 등의 AI가 왜 범죄에 이용되기 쉬운지 정리
유로폴이 ChatGPT 등의 AI가 왜 범죄에 이용되기 쉬운지 정리
ChatGPT 등에 사용되는 대규모 언어 모델(LLM)에 대한 사회적 관심의 높아짐에 따라 이러한 모델을 범죄자가 어떻게 악용하는지, 수사관의 일상 업무에 어떻게 도움이 되는지를 알아보기 위해 유럽
doooob.tistory.com
역사에 대해 질문하거나 논의할 수 있는 Reddit의 포럼 r/AskHistorians가 ChatGPT로 만든 스팸의 표적이 되고 있다고 Reddit의 모더레이터(사회자)인 사라 길버트 씨는 말합니다.
r/AskHistorians에서는 역사 주제에 관한 질문을 제출하면 역사 전문가로부터 자세한 답변을 받을 수 있으므로, 역사에 관한 인터넷 포럼으로서는 최대급 커뮤니티입니다. 길버트 씨에 따르면, 2023년 2월에는 r/AskHistorians와 다른 몇몇 Reddit 커뮤니티가 "(프로그램된) 봇이 포럼에 제기된 질문을 ChatGPT에 입력 후 다수의 가짜 계정을 통해 답변을 투고하고 있다"라며, ChatGPT를 사용한 조직적인 봇 공격의 피해를 당한 사실을 호소하였습니다.
일부 Reddit의 사회자는 "ChatGPT의 반복 게시물은 사회자와 사용자가 어디까지 AI의 문장을 인식하고 대응하는지 시험하고 있다"고 생각됩니다. 또한, 그 밖의 ChatGPT에 의한 게시물은 특정 단체와 조직이 수면 아래에서 의견을 주장하는 '아스트로 터핑' 이나 스팸 캠페인의 일환일 것이라고 봅니다. 또한 Reddit에서는 매일 게시물에 '찬성표'를 모으는 것으로 '신뢰할 수 있는 계정'으로 여겨지기 때문에, ChatGPT의 게시물로 '선행'을 일상적으로 실시하고, 신뢰할 수 있는 계정으로 둔갑한 후, 악질적인 목적으로 이용하는 「카르마 파밍」의 사례도 있다고 사회자는 지적하고 있습니다.
예전에는 아스트로 터핑이 의심되는 경우, 다수의 계정으로 하나의 텍스트를 반복 게시하기 때문에, 그 발견과 대처가 비교적 쉬웠습니다. 그러나 ChatGPT는 새로운 스팸 게시물을 쉽게 만들 수 있기 때문에, "봇 문제는 매우 심각해졌고, Reddit의 자동 스팸 방지 시스템은 거의 도움이 되지 않습니다. 봇은 그 목적을 완수하고 있습니다."라고 Reddit의 최대 포럼 중 하나인 r/Technology의 사회자는 코멘트하고 있습니다. r/Technology의 사회자에 따르면 Reddit의 봇은 정치적인 목적이 아니라 마리화나, 포르노, 도박 등의 간단한 사기 사이트를 포함한 광고 홍보를 목적으로 사용되는 경우가 대다수라고 합니다.
r/Cybersecurity의 사회자는 "단순 마케팅 목적으로 사용되는 경우에는 ChatGPT 콘텐츠를 잡아내는 하위 시스템의 탐지율은 높은 편입니다. 그러나, 가짜 계정으로 진짜계정인 척하는 카르마 파밍의 경우, 발견할 수는 있지만 중재 도구가 거의 유용하지 않으며, 현재 얼마나 많은 악성 콘텐츠를 감지할 수 있는지 알 수 없습니다. 지금까지 발견된 수는 문제가 아니며, 오히려 놓친 것이 더 문제입니다."라고 봇 피해의 심각성을 말하고 있습니다. 실제로, ChatGPT를 개발한 OpenAI에 의한 AI의 문장을 검지하는 툴 「AI Text Classifier」나, 프린스턴 대학에 재적하는 에드워드 티엔 씨가 공개한 「GPTZero」등의 툴은, 텍스트를 분석해 LLM에 근거하여 작성된 내용을 감지하지만 AI로 만든 콘텐츠를 정확히 감지할 수 있는 것은 아니며, AI로 작성한 글에서 스팸 메시지를 감지하는 것은 어렵다고 알려져 있습니다.
문장을 쓴 것이 인간인지 AI인지를 구별하는 툴 「GPTZero」의 정밀도는 어느 정도인가?
문장을 쓴 것이 인간인지 AI인지를 구별하는 툴「GPTZero」의 정밀도는 어느 정도인가?
고정밀도의 문장을 생성하는「GPT-3」나 「ChatGPT」의 등장으로 인해,「어떻게 하면 인간이 쓴 문장과 AI가 쓴 문장을 구별할 수 있을까?」라는 과제가 부상하고 있습니다. 그런 가운데, 미국의 프
doooob.tistory.com
Reddit 전반에서 ChatGPT를 이용한 봇의 문제는 "현시점에서 꽤 끔찍한 것입니다"라고 플랫폼의 광범위한 중재 시스템에 익숙한 Reddit의 모더레이터(사회자/중재자)는 말합니다. 그에 따르면 수백 개의 계정이 이미 Reddit에서 삭제되었으며, 매일 더 많은 계정이 발견된다고 합니다. VICE Media가 이 문제에 대해 Reddit에 문의했을 때 Reddit은 코멘트를 거부했습니다. 길버트 씨에 따르면 Reddit 직원으로부터 모더레이터에게 "Reddit은 AI 검출을 진행하고 있습니다만, 당분간은 자원 봉사자로 구성된 모더레이터가 수동으로 직접 AI 게시물에 대처해야만 합니다."라고 응답받았다는 것입니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 아마존이 제네레티브 AI를 구축하기 위한 서비스 'Bedrock'과 기초 모델 발표 (0) | 2023.04.14 |
|---|---|
| 무료로 상용 이용도 가능한 오픈 소스 대규모 언어 모델 「Dolly 2.0」발표 (0) | 2023.04.13 |
| 대규모 언어 모델을 기존보다 15배 고속 · 저비용으로 학습하는 「DeepSpeed-Chat」공개 (0) | 2023.04.13 |
| 중국에서는 이미 AI가 일러스트레이터의 일을 빼앗고 있다! 현장 리포트 공개 (0) | 2023.04.13 |
| GPT-4가 버그를 자동 수정하는 프로그램 「Wolverine」이 등장 (0) | 2023.04.13 |
| OpenAI가 ChatGPT 등 AI 시스템의 버그 보상금 프로그램을 개시 (0) | 2023.04.12 |
| 'AI 연구의 6개월 정지'를 요구한 일론 머스크, 자신은 1만개의 GPU를 매입해 독자적 연구를 진행중 (0) | 2023.04.12 |
| 알리바바가 ChatGPT의 50배 이상의 파라미터를 가지는 「퉁이치엔원(Tongyi Qianwen)」발표 (0) | 2023.04.12 |
