Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning

本文是LLM系列文章，针对《Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning》的翻译。

摘要

大型语言模型（LLMs）在各种语言任务中表现出了非凡的能力，但解决复杂的推理问题仍然是一个挑战。虽然现有的方法，如思维链（CoT）和思维树（ToT），通过分解问题或构建提示来增强推理，但它们通常只执行一次推理，可能无法重新访问有缺陷的路径，从而影响准确性。为了解决这个问题，我们提出了一种新的推理框架，称为思想森林（FoT），它集成了多个推理树，以利用集体决策来解决复杂的逻辑问题。FoT利用稀疏激活策略来选择最相关的推理路径，提高了效率和准确性。此外，我们引入了一种动态自校正策略，可以实现实时纠错和从过去的错误中学习，以及共识引导的决策策略，以优化正确性和计算资源。实验结果表明，FoT框架与这些策略相结合，显著提高了LLM的推理能力，使其能够以更高的精度和效率解决复杂的任务。

1 引言

2 相关工作

3 方法