Preferred Networks(PFN)는 2023년 9월 28일, 130억 파라미터의 사전 학습이 끝난 대규모 언어 모델 「PLaMo-13B(Preferred Language Model)」 를 연구 및 상용이용 가능한 오픈 소스로 공개했습니다.
https://huggingface.co/pfnet/plamo-13b
pfnet/plamo-13b · Hugging Face
PLaMo-13B Model Description PLaMo-13B is a LLaMA-based 13B model pre-trained on English and Japanese open datasets, developed by Preferred Networks, Inc. PLaMo-13B is released under Apache v2.0 license. PLaMo-13B Release blog (Japanese) Usage Requirements
huggingface.co
현재 공개되어 있는 동일 규모 파라미터수의 사전 학습이 끝난 언어 모델과 비교했을 때, 대규모 언어 모델의 벤치마크 평가에 있어서, 일어・영어 2 언어를 합친 능력에서 세계 Top 레벨의 성능을 나타내고 있습니다.
PLaMo-13B의 학습 데이터는 1.4조 토큰의 일어・영어 2 언어의 데이터 세트를 사용, 국립연구개발법인 산업기술종합연구소의 NVIDIA A100의 480GPU를 사용하여 약 1개월의 학습을 실시했습니다. 이에 따라 영어와 일본어 데이터를 늘려 콤팩트하면서 높은 성능을 가진 모델을 개발했습니다.
또한 PFN은 동시에 새로운 회사 설립에 관한 발표도 했습니다. 멀티모달 기반 모델의 개발을 강화할 목적으로 Preferred Elements를 설립, 대규모의 고기능 기반 모델을 개발하여 2024년 중 상용 서비스 제공 개시를 목표로 하고 있습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Microsoft Bing의 이미지 생성 AI는 금지어 「9.11」도 사용 가능하여 논란 (0) | 2023.10.06 |
|---|---|
| Meta가 AI 학습에 Facebook 및 Instagram 공개 게시물을 사용 (0) | 2023.10.06 |
| Mirosoft가「Power Automate」플러그인 발표, ChatGPT에서 직접 flow를 만들고 실행 (1) | 2023.10.06 |
| 구글도 마침내 AI 학습에서 옵트아웃 할 수있는 옵션 「Google-Extended」를 발표 (0) | 2023.10.06 |
| 여행 상담부터 SNS 문장 작성까지 가능한 어시스턴트 AI 「Assistant with Bard」 발표 (0) | 2023.10.05 |
| GPT-4와 Claude 2는 「16세기에 쓰여진 라틴어 마술서」까지 번역 가능하며, 인간 전문가에 필적한다 (1) | 2023.10.05 |
| 대규모 언어 모델에서 '무한 입력'을 가능하게 해주는 기법 「StreamingLLM」이 등장 (0) | 2023.10.04 |
| GitHub가 모든 개인 사용자에게 무료로 "GitHub Copilot Chat"베타 버전을 제공 (0) | 2023.09.27 |
