반응형 Weight-Decomposed Low-Rank Adaptation1 기계 학습 모델의 재학습으로 LoRA보다 적은 비용과 시간으로 더 높은 성능을 기대할 수 있는「DoRA」 대규모 언어 모델이나 이미지 생성 AI 등의 기계 학습 모델은 파인 튜닝이나 LoRA(Low Rank Adaptation) 등의 방법에 의해 모델의 가중치를 미세 조정하여 특정 태스크나 목적에 따른 출력을 실시하도록 커스터마이즈 할 수 있습니다. 홍콩 과기대학의 연구팀이 LoRA보다 계산 비용과 시간을 절약하는 새로운 방법 「DoRA(Weight-Decomposed Low-Rank Adaptation)」을 발표했습니다. [2402.09353] DoRA: Weight-Decomposed Low-Rank Adaptation https://arxiv.org/abs/2402.09353 DoRA: Weight-Decomposed Low-Rank AdaptationAmong the widely used parame.. 2024. 2. 21. 이전 1 다음 반응형
