Toward Adaptive Reasoning in Large Language Models with Thought Rollback

本文是LLM系列文章，针对《Toward Adaptive Reasoning in Large Language Models with Thought Rollback》的翻译。

摘要

大型语言模型（LLM）已被常规用于使用逐步推理来解决各种任务。然而，中间推理步骤或思想的结构是刚性和单向的，如链、树或无环有向图。因此，当LLM经常给出错误的反应，即“幻觉”时，由此产生的僵化和只向前的推理可能无法解决具有挑战性的任务，并失败。本文提出了一种新的推理框架，称为思维回滚（TR），允许LLM自适应地构建思维结构，同时保持对“幻觉”下问题解决的有效推理。TR的核心机制是回滚思想，它允许LLM对思想进行错误分析，从而回滚到任何以前错误的思想进行修改。随后，通过在提示中包含这种试错来指导LLM，每次回滚都会导致一个更可靠的推理路径。因此，从没有人工注释的简单提示开始，带TR的LLM自适应地逐步探索正确解决方案的思路。数学问题和多任务推理的综合实验证明了TR在解决问题率和交互成本方面的最新性能。例如，在MATH数据集上，具有TR的GPT-4的求解率比当前最佳解高出9%。源代码位于https://github.com/iQua/llmebase的examples/ThoughtRoll