일본어 언어 모델 「Japanese StableLM Alpha」를 Stability AI가 출시

 AI 개발 기업 Stability AI가 일본어 범용 언어 모델 「Japanese StableLM Base Alpha 7B」와, 지시 응답 언어 모델 「Japanese StableLM Instruct Alpha 7B」를 발표했습니다.

일본어 언어 모델 'Japanese StableLM Alpha' 출시 | Stability AI Japan
https://stability.ai/blog/stability-ai-new-jplm-japanese-language-model-stablelm

Japanese StableLM, Marking Entry into International Language Model  Market — Stability AI

「Japanese StableLM」은 2023년 4월에 발표된 오픈 소스 대규모 언어 모델 「StableLM」의 일본어판에 해당합니다.

범용 언어 모델인 「Japanese StableLM Base Alpha 7B」는, 웹을 중심으로 한 대규모 데이터를 이용해 텍스트 생성을 학습시킨 70억 파라미터 모델로, 학습 데이터는 주로 일본어와 영어, 그 외에 소스 코드가 약 2% 포함되어 있고, 학습은 7,500억 토큰으로 행해졌다고 합니다.

지시 응답 언어 모델 「Japanese StableLM Instruct Alpha 7B」는, 「Japanese StableLM Base Alpha 7B」에 추가 학습을 실시해, 사용자의 지시에 응답할 수 있도록 한 것입니다.

응답 예는 다음과 같은 느낌.

둘 다 Hugging Face Hub이며 Hugging Face Transformers를 준수하는 형식으로 게시됩니다.

stabilityai/japanese-stablelm-base-alpha-7b · Hugging Face

stabilityai/japanese-stablelm-base-alpha-7b · Hugging Face

stabilityai/japanese-stablelm-instruct-alpha-7b · Hugging Face

stabilityai/japanese-stablelm-instruct-alpha-7b · Hugging Face

「Japanese StableLM Base Alpha 7B」는 상업적으로 이용 가능한 Apache License 2.0으로 공개되어 있지만,  「Japanese StableLM Instruct Alpha 7B」는 연구 목적 모델이기에, 연구 목적의 이용에 한정되어 공개하고 있습니다.

Stability AI Japan에서는 앞으로도 이러한 일본어용 생성 기반 모델을 구축해 공개해 나갈 예정이라고 합니다.