Meta의 대규모 언어 모델 LLAMA의 7B 모델에 미세 조정을 실시한 오픈 소스로 더 나은 명령 추종성을 실현한 대규모 언어 모델 Alpaca 7B를 스탠퍼드 대학의 연구팀이 공개했습니다. Alpaca를 사용하면 GPT-3.5와 유사한 동작을 훨씬 소규모 환경에서 간단하고 저렴하게 재현할 수 있습니다.
Alpaca: A Strong Open-Source Instruction-Following Model - Stanford CRFM
https://crfm.stanford.edu/2023/03/13/alpaca.html
Stanford Alpaca, and the aceleration of on-device large language model development
https://simonwillison.net/2023/Mar/13/alpaca/
스탠퍼드 대학에 따르면 GPT-3.5(text-davinci-003)와 Chat GPT, Claude, Bing Chat 등 언어 모델이 점점 강해지고 있는 가운데, 아직도 많은 결함이 남아 있다는 것. 이 문제 해결하자면 학계의 관여가 필요했습니다만, text-davinci-003등의 클로즈드 모델에 필적하는 기능을 갖춘 오픈 소스 모델이 없기 때문에, 학계에서 명령 추종 모델을 연구하는 것은 어려웠다고 합니다.
그래서 스탠퍼드 대학은 공개된 데이터 세트만으로 학습을 실시한 Meta의 대규모 언어 모델「LLaMA」 7B 모델을 베이스로 미세조정을 실시해「Alpaca」라는 언어 모델을 개발 · 공개했습니다. 미세조정에는 80GB 메모리 NVIDIA A100 8대를 3시간 돌렸다는 것. 이것은 많은 클라우드 컴퓨팅 제공업체에서 100달러(약 13만 원) 미만으로 이용 가능합니다.
Alpaca는 text-davinci-003과 비슷한 행동을 많이 보이지만, 깜짝 놀랄 만큼 작고 · 간단하고 · 저렴하게 재현이 가능하다는 특징이 있습니다.
다음 사이트에 웹 데모가 게시되어 있으며 사용해 볼 수 있습니다.
Alpaca
https://alpaca-ai-custom5.ngrok.io/
Gradio
Build & Share Delightful Machine Learning Apps
gradio.app
또한, Alpaca의 이용은 학술 목적에 한정되어 있으며, 상용 이용은 금지되어 있습니다. 이것은 기반이 된 LLAMA가 비상업적 라이센스임을 의미하며, 명령 데이터는 OpenAI와 경쟁하는 모델의 개발을 금지하는 text-davinci-003을 기반으로 하며 안전 대책이 충분하지 않아 일반 대중화 할 수 없다는 것, 이렇게 3가지 이유에 의한 것이라고 합니다.
https://github.com/tatsu-lab/stanford_alpaca
GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data.
Code and documentation to train Stanford's Alpaca models, and generate the data. - GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate...
github.com
관련글
스탠퍼드대 알파카를 로컬 셋팅하여 오프라인으로 AI와 채팅하는 방법
오프라인으로 AI와 채팅하는「Alpaca.cpp」로컬 설치 리뷰
2023년 3월, 스탠포드 대학이 ChatGPT와 동등한 성능을 가진 채팅 AI 모델 'Alpaca'를 공개했습니다. 이 Alpaca를 자신의 PC에 설치하여 로컬에서 채팅 AI를 돌리는 「Alpaca.cpp」 가 등장했으므로, 그 설치
doooob.tistory.com
무료로 상용 이용도 가능한 완전 오픈소스 대규모 언어 모델 「RedPajama」가 트레이닝 데이터 세트를 공개
무료로 상용 이용도 가능한 완전 오픈소스 대규모 언어 모델 「RedPajama」가 트레이닝 데이터 세
OpenAI의 GPT-4와 같은 대규모 언어 모델을 통해 AI 기술이 빠르게 확산되고 있습니다. 그러나 GPT-4를 비롯한 대규모 언어 모델 중 상당수가 폐쇄형 상용 모델이거나 부분적으로만 공개되어 있습니
doooob.tistory.com
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| GPT-4를 엑셀·워드·파워포인트·아웃룩에서 사용할 수 있는 AI「Microsoft 365 Copilot」릴리즈 (0) | 2023.03.20 |
|---|---|
| 이미지 생성 AI에서도 사용되는 AI 라이브러리「PyTorch」의 메이저 업데이트판「PyTorch 2.0」 정식 릴리즈 (0) | 2023.03.20 |
| 「LLaMA」를 Mac에서도 실행 가능, 대규모 언어 모델을 보통의 소비자용 하드웨어로 실행 (0) | 2023.03.17 |
| OpenAI 설립자가 "우리가 틀렸다"며 데이터를 오픈하지 않는 정책으로 전환 (0) | 2023.03.17 |
| Google의 머신러닝 플랫폼 'Vertex AI'가 역대 최대로 업그레이드 (0) | 2023.03.16 |
| 인기 급증의 Bing에 이용하고 있는 AI는「GPT-4」였다고 Microsoft가 밝히다 (0) | 2023.03.16 |
| 「GPT-4」발표,「초대 iPhone과 동등한 충격」이라는 평가 (0) | 2023.03.16 |
| 인간 수준의 정밀도로 대화가 가능한「ChatGPT」는 무엇이 획기적인 것인가? (0) | 2023.03.13 |
