Resonance RoPE: Improving Context Length Generalization of Large Language Models

本文是LLM系列文章， 针对《Resonance RoPE: Improving Context Length Generalization of
Large Language Models》的翻译。

摘要

本文解决了在配备旋转位置嵌入（RoPE）的大型语言模型（LLM）中训练短测试长（TSTL）场景的挑战，其中在较短序列上预训练的模型在较长序列中面临分布外（OOD）标记位置的困难。我们引入了共振RoPE，这是一种新的方法，旨在通过细化OOD位置的ROPE特征插值来缩小TSTL场景中的泛化差距，显著提高模型性能，而不需要额外的在线计算成本。此外，我们提出了POSGEN，这是一种专门为TSTL场景中的细粒度行为分析设计的新的合成基准，旨在将长上下文中不断增加的token生成难度与识别新token位置的挑战隔离开来。我们在合成任务上的实验表明，在应用共振RoPE后，Transformer能够更好、更稳健地识别OOD位置。在将RESONANCE ROPE应用于当前最先进的ROPE缩放方法YaRN后，我们广泛的LLM实验在上游语言建模任务和各种下游长文本应用程序上也显示出优异的性能。

1 引言

2 相关工作

3 背景