ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models

本文是LLM系列文章，针对《ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models》的翻译。

摘要

参数有效微调（PEFT）在大语言模型时代因其有效性和效率而被广泛研究。低秩自适应（LoRA）作为一种流行且具有代表性的方法，表现出了值得称赞的性能。然而，它是用固定的内在秩来实现的，这可能不是下游任务的理想设置。认识到需要更灵活的下游任务自适应，我们将LoRA的方法扩展到一种创新的方法，我们称之为分配低秩自适应（ALoRA），该方法能够在自适应过程中对固有秩进行动态调整。首先，我们提出了一种新的方法AB-LoRA，它可以有效地估计每个LoRA秩的重要性得分。其次，在AB LoRA的指导下，我们逐步修剪大量且对LoRA产生负面影响的LoRA等级，并将修剪后的LoRA预算分配给需要更高等级的重要Transformer模块。我们在各种任务上进行了实验，实验结果表明，我们的ALoRA方法可以在具有可比可调参数的情况下优于最近的基线。

1 引言

2 相关工作

3 方法

4 实验