Hansel: Output Length Controlling Framework for Large Language Models

本文是LLM系列文章，针对《Hansel: Output Length Controlling Framework for Large Language Models》的翻译。

摘要

尽管大型语言模型（LLM）取得了巨大成功，但有效控制输出序列的长度仍然是一个挑战。本文中，我们提出了Hansel，这是一种在不影响LLM生成能力的情况下进行长度控制的有效框架。Hansel利用周期性输出的隐藏特殊token来跟踪输出序列的剩余目标长度。结合避免输出突然终止的技术，这种看似简单的方法被证明是有效和通用的，同时不会损害生成文本的连贯性和流畅性。该框架可以在模型的微调阶段应用于任何预训练的LLM，而不管其原始的位置编码方法如何。我们通过使用Hansel对四种不同的LLM进行微调来证明这一点，并表明与基于提示的长度控制微调相比，输出序列的平均绝对误差在每个模型和数据集中都显著降低。此外，该框架显示出对微调过程中看不到的目标长度进行外推的能力大大提高，例如长对话响应或极短的摘要。这表明该模型学习了长度控制的一般方法，而不是学习将输出长度与训练期间看到的长度相匹配。

1 引言

2 相关工作

3 方法

4 实验设置

5 结果<