Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions

本文是LLM系列文章，针对《Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions》的翻译。

摘要

目前，OpenAI o1引发了人们对大型推理模型（LRM）研究的兴趣。基于这一势头，Marco-o1不仅专注于具有标准答案的学科，如数学、物理和编码，这些学科非常适合强化学习（RL），而且更加重视开放式解决方案。我们的目标是解决这个问题：“o1模型能否有效地推广到缺乏明确标准、奖励难以量化的更广泛领域？”Marco-o1由思维链（CoT）微调、蒙特卡洛树搜索（MCTS）、反射机制和创新推理策略驱动，针对复杂的现实世界问题解决任务进行了优化。

1 引言

2 Marco推理数据集

3 通过MCTS扩展解决方案空间

4 推理行动策略

5 实验

6 翻译任务案例研究

7 结论和未来工作

我们的Marco-o1通过整合思维链（CoT）