KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Proportional Analogies

本文是LLM系列文章，针对《KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting》的翻译。

摘要

进行类比是认知的基础。比例类比由四个术语组成，通常用于评估语言和认知能力。例如，完成类似“氧气与气体就像<空白>与<空白>”这样的类比需要识别第一对术语（“氧气”和“气体”）之间的语义关系（例如“类型”）和找到具有相同关系的第二对（例如“铝”和“金属”）。在这项工作中，我们引入了用于比例类比完成的 15K 多项选择题回答 (MCQA) 数据集，并评估了当代大型语言模型 (LLM) 在各种知识增强提示设置中的性能。具体来说，我们用三种类型的知识来增强提示：范例知识、结构化知识和目标知识。我们的结果表明，尽管有大量的训练数据，但解决比例类比对于当前的LLM来说仍然具有挑战性，最佳模型的准确率达到 55%。值得注意的是，我们发现，与提供样本或结构化知识集合相比，提供有针对性的知识可以更好地帮助模型完成比例类比。我们的代码和数据可在以下网址获取：https://g