본문 바로가기
AI · 인공지능/AI 뉴스

Stabilty.AI가 환경 친화적이고 효율적인 30억 파라미터 대규모 언어 모델 「Stable LM 3B」 를 발표

by 두우우부 2023. 10. 11.
반응형

 
 
영국의 Stabilty.AI는 2023년 10월 3일 콤팩트한 대규모 언어 모델 「Stable LM 3B」를 발표했습니다. 노트북 등 컴퓨팅 자원이 낮은 기기에서도 동작하도록 설계되어 있으며, 라이센스는 상용 이용도 가능한 오픈소스입니다.

https://stability.ai/blog/stable-lm-3b-sustainable-high-performance-language-models-smart-devices

Introducing Stable LM 3B: Bringing Sustainable, High-Performance Language Models to Smart Devices — Stability AI

Our latest language model, Stable LM 3B, is a compact language model designed to operate on portable digital devices like handhelds and laptops.

stability.ai


https://huggingface.co/stabilityai/stablelm-3b-4e1t

stabilityai/stablelm-3b-4e1t · Hugging Face

You need to agree to share your contact information to access this model This repository is publicly accessible, but you have to accept the conditions to access its files and content. Log in or Sign Up to review the conditions and access this model content

huggingface.co



업계의 표준은 70억 ~ 700억 파라미터이지만, Stable LM 3B의 모델은 30억 파라미터로 구성되어 있습니다. 

주요 특징은 소형화 및 효율성으로 소비 전력이 적고 친환경적입니다. 다른 모델에 비해 운용 비용은 낮지만, 오히려 성능은 기존의 3B 파라미터 언어 모델이나 7B 파라미터 모델을 능가합니다.

Stable LM 3B를 사용하면 각종 단말기나 가정용 PC에서 애플리케이션 개발이 용이해집니다. 기존의 Stable LM과 비교해, 추론 속도도 빠르며 텍스트 생성 능력이 향상되었습니다. 또한, 다운 스트림 성능이 향상되어 대규모 학습을 통한 높은 성능을 달성했습니다.

그리고 범용성이 있어 다양한 용도에 적응할 수 있지만, 안전하게 동작시키기 위해서는 사전 조정이 필요합니다. 인스트럭션 모델은 현재 안전테스트 중이며, 곧 출시될 예정입니다. 현재 이 모델은 무료이며 오픈 소스 CC-By-SA 4.0 라이센스로 출시되어 있습니다.

반응형