SEAlign: 面向软件工程代理的对齐训练

近年来，代码生成模型在自动化软件开发任务方面展示了令人印象深刻的性能，但在现实世界的软件工程场景中仍面临挑战。尽管当前的训练方法，特别是后训练，在解决竞争性编程问题方面表现出色，但它们未能充分准备模型以应对实际软件开发的复杂性。这种错位提出了一个关键问题：现有的对齐训练方法是否适合现实世界的软件工程任务？在本研究中，我们确定了这一问题，并提出了SEAlign，这是一种新颖的对齐框架，旨在弥合代码生成模型与现实世界软件开发任务之间的差距。SEAlign利用软件工程过程的独特特征（包括高质量的工作流步骤）来增强模型能力。我们的框架进一步采用蒙特卡洛树搜索（MCTS）进行多步决策过程的细粒度对齐，并通过偏好优化关键动作确保模型满足现实需求。我们在三个标准的现实世界软件工程基准上评估了SEAlign，包括HumanEvalFix、SWE-Bench-Lite和SWE-Bench-Verified。实验结果表明，SEAlign以最少的训练开销实现了最先进的性能。此外，我们使用SEAlign开发了一个基于代理的软件开发平台，成功自动化创建了几个小型应用程序。人类对这些应用程序的评估突显了任务性能和