超级会员免费看
本文提出EvoKD，一种结合大型语言模型（LLM）和主动学习的知识蒸馏方法，用于提升小模型在NLP任务上的性能。通过分析学生模型的弱点并生成相关样本，EvoKD在文本分类和命名实体识别任务中展现出有效性，即使在小样本情况下也能达到接近全样本性能的效果。
本文是LLM系列文章，针对《Evolving Knowledge Distillation with Large Language Models and
Active Learning》的翻译。
摘要
大型语言模型（LLM）已经在各种NLP任务中展示了非凡的能力。然而，它们的计算成本高得令人望而却步。为了解决这个问题，先前的研究试图通过生成注释数据将LLM的知识蒸馏到更小的模型中。尽管如此，这些工作主要集中在LLM用于文本生成和标记的直接使用上，而没有充分探索其理解目标任务和获取有价值知识的潜力。在本文中，我们提出了EvoKD：进化知识蒸馏，它利用主动学习的概念来交互式地增强使用大型语言模型的数据生成过程，同时提高小域模型（学生模型）的任务能力。与以往的工作不同，我们积极分析学生模型的弱点，然后在分析的基础上合成标记样本。此外，我们还向LLM提供关于学生模型性能的迭代反馈，以持续构建多样化和具有挑战性的样本。对不同的NLP任务，即文本分类和命名实体识别的实验和分析表明了EvoKD的有效性。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
