SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution

摘要

最近DeepSeek-R1的发布展示了强化学习（RL）在提升大语言模型（LLMs）通用推理能力方面的巨大潜力。虽然DeepSeek-R1及后续工作主要聚焦于将RL应用于竞赛编程和数学问题，但本文介绍了SWE-RL，这是第一种将基于RL的LLM推理扩展到实际软件工程中的方法。SWE-RL利用轻量级的基于规则的奖励（例如，真实解决方案与LLM生成的解决方案之间的相似度得分），使LLMs能够通过从大量开源软件演化数据（软件整个生命周期的记录，包括代码快照、代码变更以及问题和拉取请求等事件）中学习，自主恢复开发者的推理过程和解决方案。在Llama 3的基础上进行训练，我们得到的推理模型Llama3-SWE-RL-70B在SWE-bench Verified（一个经过人工验证的真实GitHub问题集合）上的解决率达到41.0%。据我们所知，这是目前为止中型（<1000亿）LLMs中报告的最佳性能，甚至可与领先的专有LLMs（如GPT-4o）相媲美。令人惊讶的是，尽管仅在软件演化数据上进行RL训练，Llama3-SWE-RL仍展现出了通用的推理技能。例如，它在五个跨领域任务（即函数编码、库使用、代码推理、数学和通用语言理解）上的结果有所改善，而监督微调基线在这些任务上的性能平均出现了下降。总体而言，SWE-