An Iteratively Refining Method for Eliciting Knowledge from Large Language Models

本文是LLM系列文章，针对《Chain-of-Specificity: An Iteratively Refining Method for Eliciting
Knowledge from Large Language Models》的翻译。

摘要

大型语言模型（LLM）表现出非凡的生成能力，能够生成有价值的信息。尽管取得了这些进步，但先前的研究发现，LLM有时难以遵守特定的约束条件（例如，在特定的地点或特定的时间），有时甚至忽视了这些约束条件，这导致了过于笼统或不完全令人满意的反应。现有的方法试图通过分解或重写输入指令来解决这个问题，但它们在充分强调特定约束和解锁底层知识（例如，在软件开发的背景下编程）方面做得不够。作为回应，本文提出了一种简单而有效的方法——特异性链（CoS）。具体来说，CoS迭代地强调输入指令中的特定约束，解锁LLM中的知识，并细化响应。在公开的和自建的复杂数据集上进行的实验表明，CoS在增强生成内容方面优于现有方法，尤其是在特异性方面。此外，随着特定约束数量的增加，其他基线也会动摇，而CoS仍然表现良好。此外，我们还表明，提取由CoS生成的响应有效地增强了较小模型遵循约束指令的能力。本文的资源将被公布以供进一步研究。