Exploring the Limitations of Graph Reasoning in Large Language Models

本文是LLM系列文章，针对《Exploring the Limitations of Graph Reasoning in Large Language Models》的翻译。

摘要

经过预训练的大型语言模型仅通过基于语言的提示就展示了各种类型的推理能力。然而，在本文中，我们通过图推理的问题来测试5种不同LLM（GPT-4、GPT-3.5、Claude-2、Llama-2和Palm-2）的图推理深度。特别地，我们设计了10个不同的图遍历问题，每个问题都代表着不断增加的复杂性。此外，我们分析了模型在各种设置下的性能，如不同大小的图以及不同形式的kshot提示。我们通过这个基准测试过程强调了LLM的各种局限性、偏差和性质，例如与图中每个节点的平均遍历自由度的反比关系，kshot提示对图推理任务的总体负面影响，以及阻止LLM识别缺乏有效解决方案的正响应偏差。最后，我们提出了一种专门为图遍历任务设计的新提示技术，称为PathCompare，与标准提示和CoT相比，LLM的性能显著提高。

1 引言

2 实验设置

3 一般性讨论

4 PATHCOMPARE提示

5 总结<