Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models

本文是LLM系列文章，针对《Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models》的翻译。

摘要

指令调优有可能激发或增强大型语言模型（LLM）的特定功能。然而，实现正确的数据平衡对于防止灾难性的遗忘和任务之间的干扰至关重要。为了解决这些局限性并增强训练灵活性，我们提出了LoRA的混合（MoA）架构——一种新颖且参数有效的调整方法，用于LLM的多任务学习。在本文中，我们首先使用相应的监督语料库数据单独训练多个领域特定的LoRA模块。这些LoRA模块可以和专家混合（MoE）中的专家设计原则相一致。随后，我们使用显式路由策略将LORA组合起来，并引入域标签来促进多任务学习，这有助于防止任务之间的干扰，并最终提高每个单独任务的性能。此外，每个LoRA模型都可以迭代地适应新的领域，从而实现快速的领域特定适应。在不同任务上的实验证明了我们的方法优越而稳健的性能，这也将进一步促进特定领域LLM的应用。

1 引言

2 相关工作

3 方法

4 实验

5 结论