大型语言模型（LLM）的性能受提示方式影响显著。研究对比了“积极思维”提示与系统优化提示的效果，发现在GSM8K数据集上，积极思考通常能提升模型性能，但并非所有模型都适用。Llama2-70B在无思维链情况下表现出反常，最优结果来自非系统提示。自动提示优化器在小规模开源模型上也展现出高效性能，且生成的提示超越预期。
本文是LLM系列文章，针对《The Unreasonable Effectiveness of Eccentric Automatic Prompts》的翻译。
摘要
大型语言模型（LLM）已经显示出非凡的解决问题和基本数学能力。然而，它们的功效在很大程度上取决于提示的形成。本研究试图量化将“积极思维”纳入提示的系统信息的影响，并将其与系统提示优化进行比较。我们在GSM8K数据集上评估了60种系统消息片段组合的性能，这些组合在有思维链提示和没有思维链提示的情况下进行了测试，涉及三个参数从70亿到700亿不等的模型。我们的研究结果表明，结果并不能在模型中普遍推广。在大多数情况下，“积极思考”的加入会促使受到积极影响的模型性能。然而，值得注意的是，Llama2-70B在不使用思维链时表现出异常，因为发现最优系统消息根本没有。考虑到对大型黑匣子模型进行手动调整提示实验的组合复杂性和计算时间，我们随后比较了最佳“积极思维”的性能。针对系统提示优化的输出进行提示。我们表明，即使在使用较小的开源模型时，使用自动提示优化器也是提高性能的最有效方法。此外，我们的研究结果表明，得分最高的自动优化提示表现出远超预期的特殊程度。
已下架不支持订阅
扫一扫
776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
