반응형 레드파자마2 오픈 소스 LLM 개발 프로젝트 「RedPajama」가 최초의 모델 「RedPajama-INCITE」릴리즈, 무료로 상용 이용도 가능 Meta가 공개한 대규모 언어 모델 「LLaMA」의 논문에 근거해 대규모 언어 모델을 구축하는 오픈 소스의 프로젝트 「RedPajama」가 LLaMA를 가능한 한 충실히 재현하는 것을 목적으로 한 베이스 모델 「RedPajama-INCITE」를 공개했습니다. Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models — TOGETHER https://www.together.xyz/blog/redpajama-models-v1 RedPajama는 AI 스타트업 Together와 취리히 공과 대학, 스탠퍼드 대학 등이 공동으로 연구를 진행하고 있는 프로젝트로, 비영리 연구 목적으로만 이용.. 2023. 5. 11. 무료로 상용 이용도 가능한 완전 오픈소스 대규모 언어 모델 「RedPajama」가 트레이닝 데이터 세트를 공개 OpenAI의 GPT-4와 같은 대규모 언어 모델을 통해 AI 기술이 빠르게 확산되고 있습니다. 그러나 GPT-4를 비롯한 대규모 언어 모델 중 상당수가 폐쇄형 상용 모델이거나 부분적으로만 공개되어 있습니다. RedPajama는 완전 오픈 소스화된 대규모 언어 모델을 개발하는 프로젝트로, 그 첫 단계로서 1조 2천 억 이상의 토큰을 포함하는 LLAMA 트레이닝 데이터 세트를 공개했습니다. RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens - TOGETHER https://www.together.xyz/blog/redpaj.. 2023. 4. 19. 이전 1 다음 반응형
