'RedPajama' 개발사인 Together가 2000만 달러의 자금 조달에 성공

 

Meta의 대규모 언어 모델(LLM) LLAMA와 동등한 퍼포먼스를 발휘하는 오픈 소스 LLM을 개발 중인 Together가, 복수의 투자자들로부터 2,000만 달러(약 268억 원)를 조달했다고 밝혔습니다.

Together's $20M seed funding to build open-source AI and cloud platform — TOGETHER
https://www.together.xyz/blog/seed-funding

Together’s $20M seed funding to build open-source AI and cloud platform  — TOGETHER

프로젝트 "RedPajama"를 취리히 공과 대학 등과 공동으로 진행하고 있는 AI 스타트업 Together가 기술 벤처 캐피털 Lux Capital을 필두로 여러 기업·투자자로부터 자금을 모아 총 2천만 달러를 조달하는 것에 성공했다고 발표했습니다. 협찬자 중에는 PayPal의 공동 창업자 중 한 명인 스콧 버니스터 씨와 Cloudera의 창업 멤버인 제프 함멜바흐 씨 등, 유명한 투자자가 여럿 있습니다.

Together가 개발한 RedPajama는 Meta가 1조 2000억 토큰의 데이터세트로 훈련한 LLM 'LLaMA'를 기반으로 합니다. 이 LLaMA는 OpenAI의 「GPT-3」에 필적하는 성능이면서 단품의 GPU에서도 동작 가능한 경량 모델로서, 향후 활용이 기대되고 있습니다만, 클로즈드인 환경에서 개발되고 있기 때문에 연구나 커스터마이즈의 여지가 없습니다. 따라서 Together는 제한을 제거한 '완전 오픈 소스 모델'을 구축해 왔습니다.

RedPajama의 프로젝트에 있어서는, 「고품질로 폭넓은 범위를 커버하는 사전 학습 데이터의 개발」, 「그 사전 학습 데이터로 대규모 학습한 베이스 모델의 개발」, 「그 베이스 모델을 개량해 사용하기 쉽고 안전성을 높인 튜닝 데이터와 모델의 개발」이라는 3단계의 마일스톤을 상정하고 있어, 2023년 4월에 1단계, 5월에는 제2단계가 이미 등장하고 있습니다.

오픈 소스 LLM 개발 프로젝트 「RedPajama」가 최초의 모델 「RedPajama-INCITE」릴리즈, 무료로 상용 이용도 가능

오픈 소스 LLM 개발 프로젝트 「RedPajama」가 최초의 모델 「RedPajama-INCITE」릴리즈, 무료로 상용 이

원래라면 대기업이 폐쇄적으로 개발할 프로젝트를 오픈 소스로 진행하려는 시도는 생성 AI의 대두에 따라 주류가 되고 있습니다. 예를 들어, ChatGPT를 개발하는 OpenAI는 텍스트와 이미지로 3D 모델을 자동 생성하는 "Shap-E"를 오픈 소스로 제공하고, 기계 학습용 시스템을 다루는 MosaicML은 LLM의 "MPT-7B"를 오픈 소스로 제공했습니다.

OpenAI가 텍스트와 이미지로 3D 모델을 생성하는 오픈 소스 AI 「Shap-E」를 발표

OpenAI가 텍스트와 이미지로 3D 모델을 생성하는 오픈 소스 AI 「Shap-E」를 발표

상용 이용도 가능한 오픈소스 언어 모델 'MPT-7B' 출시, GPT-4의 2배 길이 문장을 입력

상용 이용도 가능한 오픈소스 언어 모델 'MPT-7B' 출시, GPT-4의 2배 길이 문장을 입력

일반인들이 무료로 접할 수 있고, 전 세계 개발자들로부터 아이디어를 모집하거나 개선점을 받을 수 있는 오픈 소스의 사고방식은 LLM 개발 경쟁에 돌입한 Google조차도 '위협적이다'라고 지적할 정도의 영향력을 가지고 있습니다.