STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language

本文是LLM系列文章，针对《STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient
Fine Tuning of Large Language Models》的翻译。

摘要

尽管大型语言模型（LLM）已经通过提示方法展示了小样本学习的强大能力，但监督训练对于复杂的推理任务仍然是必要的。由于其广泛的参数和内存消耗，已经提出了用于LLM的参数有效微调（PEFT）方法和内存有效微调方法。然而，作为数据高效微调的目标，大量注释数据消耗的问题仍未得到探索。一个明显的方法是将PEFT方法与主动学习相结合。然而，实验结果表明，这种组合并非微不足道，并且产生较差的结果。通过探针实验，这种观测可能由两个主要原因解释：不确定性差距和模型校准差。因此，在本文中，我们提出了一种新的方法来有效地集成基于不确定性的主动学习和LoRA。具体来说，对于不确定性缺口，我们引入了一种动态不确定性测量，该测量结合了主动学习迭代过程中基本模型的不确定性和完整模型的不确定度。对于较差的模型校准，我们在LoRA训练过程中加入了正则化方法，以防止模型过于自信，并采用蒙特卡罗丢弃机制来增强不确定性估计。实验结果表明，该方法在三个复杂的推理任务上都优于现有的基线模型。