AI의 정치적 편향 연구, ChatGPT는 좌파이고 LLaMA는 우파이다

미국의 워싱턴 대학, 카네기 멜론 대학(CMU), 중국의 시안교통대학 등의 연구원이 2023년 5월 15일에 발표한 (PDF 다운로드) 논문에 의하면, 대화형 AI 「ChatGPT」등이 채용한 기존의 대규모 언어 모델(LLM)은 각각 다른 정치적 편견(Bias)을 가지고 있습니다.

LLM은 인터넷에서 대량의 텍스트를 학습하고 자연스러운 문장을 생성합니다. 연구원들은 14가지 LLM을 대상으로 정치적으로 센시티브한 화제를 질문해 응답 경향을 분석했습니다.

논문에서는 미국 OpenAI가 개발한 ChatGPT의 LLM과 'GPT-4'를 구별해 다루고 있지만, 둘 다 사회면에서는 자유지상주의, 경제면에서는 좌파의 경향을 가집니다. 한편 Meta가 개발한 「LLaMA」는 사회면에서는 권위주의, 경제면에서는 우파의 경향을 나타냈습니다.

훈련 데이터의 내용에 따라 LLM의 정치적 바이어스가 달라지는 것도 확인했습니다. 구체적으로는 좌파나 우파의 뉴스 미디어나 소셜 미디어의 데이터를 이용해 모델을 재훈련하는 것으로, 해당 정치적 경향을 강화할 수 있었습니다. 다만 「RoBERTa」나 「GPT-2」라는 구세대 LLM에서 검증한 것에 주의가 필요합니다.

LLM의 정치적 경향은 헤이트 스피치와 오정보의 검출에도 영향을 미칩니다. 예를 들어 좌파에 가까운 바이어스를 가진 학습 모델은 LGBTQ+(성소수자)나 흑인과 같은 널리 알려진 소수파 집단에 대한 헤이트 스피치의 검출에 의해 더 나은 성능을 보이는 반면, 우파에 가까운 바이어스를 가진 모델은 남성이나 백인 등 스스로 자각을 지닌 지배적 집단을 대상으로 한 헤이트 스피치를 감지하면 더 나은 성능을 보이는 경향이 있었습니다.

이 연구는 이제 많은 제품과 서비스가 채택한 LLM이 가진 정치적 가정과 편견을 이해하는 것의 중요성을 보여줍니다.

관련글

틱톡을 개발한 연구팀이 ChatGPT등 대규모 언어 모델의 MBTI를 조사한 논문을 발표

틱톡을 개발한 연구팀이 ChatGPT등 대규모 언어 모델의 MBTI를 조사한 논문을 발표