LoRA & VeRA
논문 주소 : LoRA - https://arxiv.org/abs/2106.09685 VeRA - https://arxiv.org/abs/2305.03695 이 논문은 LLM을 Fine-tune하는데 있어, 효과적인 방법을 소개하는 논문입니다. 두 방법 모두 학습해야 할 파라미터의 수를 조절하여 효과적인 학습을 가능케 합니다. 그럼에도 불구하고 전체 학습 파라미터를 학습하는 것과 비슷한 수준의 효과를 보이고 있어 보편적으로 사용되고 있습니다. 본 글에서는 LoRA와 VeRA의 특징 및 주요 내용을 정리하고 있습니다. 각 논문에는 더 구체적인 내용이 담겨있으니, 시간이 있는 경우 읽어보기실 추천 드립니다. 1. LoRA : LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS K..
Paper
2023. 11. 17. 19:30
