Self-Training Elicits Concise Reasoning in Large Language Models

摘要

思维链（CoT）推理使大语言模型（LLMs）能够通过中间token进行额外计算，以解决复杂任务。然而，我们认为典型的推理过程包含许多冗余token，导致了额外的推理成本。通过研究当前大语言模型的输出分布，我们发现它们相较于默认行为，具备更简洁推理的潜在能力。为激发这种能力，我们提出了简单的微调方法，在特定任务设置中，利用通过N选1采样（best-of-N sampling）和少样本条件设定（few-shot conditioning）生成的自生成简洁推理路径。我们的组合方法在GSM8K和MATH数据集上，对五个模型系列进行实验，结果显示平均输出token减少了30%，同时保持了平均准确率。通过利用大语言模型的基本随机性和上下文学习能力，我们的自训练方法在广泛的模型上都能有效地激发简洁推理，包括那些经过大量后期训练的模型。

引言

思维链（CoT）推理显著提升了大语言模型（LLMs）执行复杂任务的能力（Wei等人，2022b）。CoT推理的有效性归因于推理过程