Low Rank Adapation(LoRA)은 AI에 대한 추가 학습을 '적은 연산'으로 실시하기 위한 모델입니다. 이 LoRA를 사용하여 사전 트레이닝된 대규모 언어 모델에 저비용에 효율적으로 파인 튜닝(미조정)을 실시할 수 있는 시스템 「Punica」를 워싱턴 대학과 듀크 대학 연구팀이 공개했습니다.
GitHub - punica-ai/punica: Serving multiple LoRA finetuned LLM as one
https://github.com/punica-ai/punica
GitHub - punica-ai/punica: Serving multiple LoRA finetuned LLM as one
Serving multiple LoRA finetuned LLM as one. Contribute to punica-ai/punica development by creating an account on GitHub.
github.com
[2310.18547] Punica: Multi-Tenant LoRA Serving
https://arxiv.org/abs/2310.18547
Punica: Multi-Tenant LoRA Serving
Low-rank adaptation (LoRA) has become an important and popular method to adapt pre-trained models to specific domains. We present Punica, a system to serve multiple LoRA models in a shared GPU cluster. Punica contains a new CUDA kernel design that allows b
arxiv.org
LoRA를 대규모 언어 모델에 적용하는 연구는 Punica뿐만 아니라 다른 연구 팀도 실시하고 있습니다. 2023년 11월 6일에는 Punica와 마찬가지로 LoRA를 활용하여 GPU상에서 저비용에 효율적으로 대규모 언어 모델을 파인 튜닝하는 「S-LoRA」에 대한 논문이 arXiv에 게시되었습니다.
[2311.03285] S-LoRA: Serving Thousands of Concurrent LoRA Adapters
https://arxiv.org/abs/2311.03285
또한, LoRA에 의해 저비용으로 효율적으로 대규모 언어 모델을 취급할 수 있도록 하는 기술에 대해서는, 이미 Google이 등장을 예언하고 있었던 것이 보도되고 있습니다. Google은 내부 문서에서 LoRA의 등장으로 오픈 소스 대규모 언어 모델의 성능을 향상하고 자사 개발의 AI 모델이 오픈 소스 모델에 패배할 가능성조차 있다고 지적했다.
LoRA를 대규모 언어 모델에 적용하는 연구는 Punica뿐만 아니라 다른 연구 팀도 실시하고 있습니다. 2023년 11월 6일에는 Punica와 마찬가지로 LoRA를 활용하여 GPU상에서 저비용에 효율적으로 대규모 언어 모델을 파인 튜닝하는 「S-LoRA」에 대한 논문이 arXiv에 게시되었습니다.
[2311.03285] S-LoRA: Serving Thousands of Concurrent LoRA Adapters
https://arxiv.org/abs/2311.03285
S-LoRA: Serving Thousands of Concurrent LoRA Adapters
The "pretrain-then-finetune" paradigm is commonly adopted in the deployment of large language models. Low-Rank Adaptation (LoRA), a parameter-efficient fine-tuning method, is often employed to adapt a base model to a multitude of tasks, resulting in a subs
arxiv.org
또한, LoRA에 의해 저비용에 효율적으로 대규모 언어 모델을 취급할 수 있도록 하는 기술에 대해서는, 이미 Google이 그 등장을 예언하고 있었던 것이 보도되고 있습니다. Google은 내부 문서에서 LoRA의 등장으로 오픈 소스 대규모 언어 모델의 성능을 향상하고 자사 개발한 AI 모델이 오픈 소스 모델에 패배할 가능성조차 있다고 지적했습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 손바닥에 투영 가능한 클립형 웨어러블 디바이스 「Ai Pin」을 Humane가 정식 발표 (53) | 2023.11.15 |
|---|---|
| 「☆→@로 변경」등의 메일 주소 난독화 수법은 ChatGPT로 간단하게 돌파 가능 (84) | 2023.11.13 |
| OpenAI가 저작권 침해로 법적 청구가 발생할 경우 사용자를 보호하고 비용을 전액 지불하는 '저작권 실드'를 발표 (2) | 2023.11.13 |
| 일본 경시청, 도내의 정체 완화에 AI를 활용한 신호기 제어를 개시 (2) | 2023.11.13 |
| 일본 기시다 총리의 가짜 동영상이 확산 (82) | 2023.11.09 |
| 2026년이면 AI 트레이닝용 데이터가 고갈되는「데이터 부족 문제」란? (50) | 2023.11.09 |
| AI에게「그게 최선이야?」, 「전력을 다해」등의 감정적 명령문을 전달하면 퍼포먼스가 향상된다 (0) | 2023.11.09 |
| NTT의 독자적인 LLM 「tsuzumi」 2024년 3월에 상용 서비스를 제공 예정 (0) | 2023.11.09 |
