START: Self-taught Reasoner with Tools

摘要

大型推理模型（LRM）如OpenAI-o1和DeepSeek-R1通过使用长思维链（CoT）在复杂推理任务中表现出显著能力。然而，这些模型由于仅依赖内部推理过程，往往会出现幻觉和效率低下的问题。在本文中，我们介绍了START（带工具的自学习推理器），这是一种新型的工具集成长CoT推理LLM，通过利用外部工具显著增强了推理能力。通过代码执行，START能够执行复杂计算、自我检查、探索多种方法和自我调试，从而解决LRM的局限性。START的核心创新在于其自学习框架，该框架包括两项关键技术：1）提示推理（Hint-infer）：我们证明，在LRM的推理过程中插入人工设计的提示（例如，“等等，也许在这里使用Python是个好主意。”）可以有效激发其利用外部工具的能力，而无需任何演示数据。提示推理还可以作为一种简单有效的顺序测试时缩放方法；2）提示拒绝采样微调（Hint-RFT）：Hint-RFT结合了提示推理和RFT，通过对LRM通过提示推理生成的带有工具调用的推理轨迹进行评分、过滤和修改，然后对LRM进行微调。通过这个框架，我们对QwQ-32B-Preview模型进行了微调，得到了START。在博士水平的科学问答（GPQA）