Harnessing Multi-Role Capabilities of Large Language Models for Open-Domain Question Answering

本文是LLM系列文章，针对《Harnessing Multi-Role Capabilities of Large Language Models for
Open Domain Question Answering》的翻译。

摘要

开放域问答（ODQA）已成为信息系统研究的一个重要热点。现有的证据收集方法主要有两种范式：（1）先检索后阅读范式从外部语料库中检索相关文档；以及（2）先生成后读取范式使用大型语言模型（LLM）来生成相关文档。然而，两者都不能完全满足对证据的多方面要求。为此，我们提出了LLMQA，这是一个通用的框架，将ODQA过程公式化为三个基本步骤：查询扩展、文档选择和答案生成，结合了基于检索和基于生成的证据的优势。由于LLM表现出出色的能力来完成各种任务，我们指示LLM在我们的框架内扮演生成器、重新排序器和评估器的多重角色，将它们集成在ODQA过程中进行协作。此外，我们引入了一种新的提示优化算法来细化角色扮演提示，并引导LLM生成更高质量的证据和答案。在广泛使用的基准测试（NQ、WebQ和TriviaQA）上的大量实验结果表明，LLMQA在回答准确性和证据质量方面都取得了最佳性能，展示了其推进ODQA研究和应用的潜力。

1 引言