LINE이 일본어 전용 초 거대 언어 모델 개발을 발표

 

LINE 주식회사는 2020년 11월 25일 회사의 모회사인 NAVER와 공동으로 세계 최초로 일본어로 특화된 초 거대 언어 모델의 개발 및 그 처리에 필요한 인프라를 구축할 것이라고 발표했습니다.

 

초 거대 언어 모델은 방대한 데이터를 학습시킨 범용적인 언어 모델입니다. AI에 따르면 자연적인 문장의 인식과 표현을 가능하게 하는 것으로, 일본어에 특화된 초 거대 언어 모델의 개발은 세계 최초입니다.

 

기존의 언어 모델은 각각의 목적에 따라 개별적으로 방대한 문장을 학습시킬 필요가 있었습니다. 언어 모델은 특히 채팅 봇으로 활용이 진행되어, Q&A나 대화 등 그 기술이 응용되고 있습니다.

 

한편, 언어 모델의 연구 개발은 복잡한 문장의 인식과 문맥 인식 등 여전히 기술적인 과제를 안고 있습니다. 그래서 주목되는 것이 범용적인 언어 모델입니다. Google이 발표한 BERT와 미국의 비영리 단체 OpenAI가 발표한 GPT 등이 큰 화제가 되었습니다.

 

OpenAI가 GPT-3를 강화한 텍스트 생성 API를 출시

 

저자인 Rani Horev 씨는 이스라엘 출신으로 이스라엘 국방부의 데이터 과학팀 리더를 역임한 적이 있는 AI 연구원입니다. 그는 Medium에 투고한 기사에서 Google이 2018년 10 월에 발표한 자연 언어 처리 모델 BERT의 특징을 설명하기도 했습니다.

 

BERT를 설명 : 자연 언어 처리를 위한 최첨단 언어 모델

BERT Explained: State of the art language model for NLP

 

이러한 다양한 언어 모델은 신문기사나 백과사전, 소설, 코딩 등의 방대한 언어 데이터를 학습시키고 그 위에 소량의 데이터를 사용하여 재학습 함으로써 높은 정밀도의 언어 처리가 실현됩니다.

 

이로 인해, 다양한 언어 처리(대화, 번역, 입력 보완, 문서 생성, 프로그래밍 코드 등)를 할 수 있게 되어, 여러 유즈 케이스에 쉽게 대응할 수 있을 것으로 기대되고 있습니다.

 

LINE이 개발하는 범용 언어 모델은 1750 억 이상의 파라미터와 100 억 페이지 이상의 일본어를 학습 데이터로 사용할 예정입니다. 이 초 거대 언어 모델의 실현으로 새로운 대화형 AI 개발 및 검색 서비스의 품질향상 등 LINE 서비스의 활용 외에도 제삼자와의 공동 개발 및 API 외부 제공도 검토하고 있습니다.