c_cpp_csharp的专栏

定期更新对于保持大语言模型（LLMs）中的知识时效性至关重要。因此，人们开发了各种模型编辑方法来更新LLMs中的特定知识。然而，基于训练的方法往往难以在有效融入新知识的同时保留不相关的通用知识。为应对这一挑战，我们提出了一种名为几何知识编辑（GeoEdit）的全新框架。GeoEdit利用微调过程中参数更新的几何关系，区分与新知识更新相关的神经元和与通用知识扰动相关的神经元。通过采用方向感知知识识别方法，我们避免更新与现有知识方向近似正交的神经元，从而保留模型的泛化能力。

由于涉及广泛的知识需求，多跳问答（MHQA）对大型语言模型（LLM）提出了重大挑战。知识编辑旨在精确修改LLM，以纳入特定知识，而不会对其他无关知识产生负面影响，为解决LLM的MHQA挑战提供了一种潜在的解决方案。然而，目前的解决方案很难有效地解决知识冲突问题。大多数参数保持编辑方法都受到不准确检索的阻碍，并忽略了二次编辑问题，这可能会在LLM的推理过程中引入噪声。本文介绍了KEDKG，这是一种利用动态知识图谱进行MHQA的新型知识编辑方法，旨在确保答案的可靠性。

知识编辑（KE）旨在调整大型语言模型（LLM）的内部表示和参数，以纠正不准确之处并提高输出一致性，而不会产生重新训练整个模型的计算费用。然而，编辑常识知识仍然面临困难，包括现有资源中的知识覆盖范围有限，为过多的常识知识标注标签的不可行性，以及当前编辑方法的严格知识格式。在本文中，我们通过提出CONCEPTEDIT来应对这些挑战，CONCEPTEDT是一个框架，它将概念化和实例化集成到LLM的KE管道中，以增强其常识推理能力。

大型语言模型 （LLM） 如何获得答案？解释和控制 LLM 推理过程的能力是可靠性、透明度和未来模型开发的关键。我们提出了 SelfIE （Self-Interpretation of Embeddings），这是一个框架，使 LLM 能够通过利用其能力来回答有关给定段落的查询，从而在自然语言中解释自己的嵌入。SelfIE 能够解释隐藏嵌入中的开放世界概念，在做出道德决定、内化及时注入和召回有害知识等情况下揭示 LLM 内部推理。SelfIE 关于隐藏嵌入的文本描述为控制 LLM 推理开辟了途径。

主流后门攻击方法通常需要大量的中毒调整数据，这限制了它们的实用性，并可能在应用于大型语言模型（LLM）时降低整体性能。为了解决这些问题，我们首次将后门注入定义为一个轻量级的知识编辑问题，并引入了BadEdit攻击框架。BadEdit直接更改LLM参数，将后门与高效的编辑技术结合起来。它在几个方面优于现有的后门注入技术：（1）实用性：BadEdit只需要一个最小的注入数据集（15个样本）。（2） 效率：BadEdit只调整参数的一个子集，从而显著减少时间消耗。

本文研究了使用知识编辑技术对大型语言模型（LLM）进行解毒。我们构建了一个基准，即SafeEdit，它涵盖了九个不安全的类别，并提供了各种强大的攻击提示，并为系统评估提供了全面的指标。我们对几种知识编辑方法进行了实验，表明知识编辑有可能有效地解毒LLM，但对总体性能的影响有限。然后，我们提出了一个简单而有效的基线，称为术中神经监测排毒（DINM），仅通过一个实例在几个调整步骤内降低LLM的毒性。

最近，人们对大型语言模型（LLM）的知识编辑越来越感兴趣。目前的方法和评估只是探索实例级的编辑，而LLM是否具有修改概念的能力仍不清楚。本文通过构建一个新的基准数据集ConceptEdit并建立一套新的评估指标，率先研究了LLM的概念知识编辑。实验结果表明，尽管现有的编辑方法可以在一定程度上有效地修改概念级定义，但它们也有可能扭曲LLM中的相关实例化知识，导致性能较差。我们预计，这将激励在更好地理解LLM方面取得进一步进展。

大型语言模型（LLM）是推进自然语言处理（NLP）任务的关键，但其功效受到不准确和过时知识的阻碍。模型编辑是解决这些挑战的一个很有前途的解决方案。然而，现有的编辑方法难以跟踪和整合与编辑相关的知识变化，这限制了编辑后LLM在处理编辑知识时的泛化能力。为了解决这些问题，我们提出了一种新的模型编辑方法，即GLAME，该方法利用知识图谱来增强LLM编辑。具体来说，我们首先利用知识图谱增强模块来揭示由于编辑而发生变化的相关知识，从而获得其在LLM中的内部表示。这种方法允许LLM内的知识变化通过外部图结构反映出来。

大型语言模型的有效知识编辑对于大规模替换过时信息或整合专业知识至关重要。然而，以前的方法隐含地假设知识在模型中是本地化和孤立的，这一假设过于简化了模型知识的相互关联性。本地化的前提导致知识编辑不完整，而孤立的假设可能会损害其他知识和一般能力。它给知识编辑方法的性能带来了不稳定性。为了超越这些假设，我们引入了StableKE，这是一种基于知识扩充而非知识本地化的新颖方法。为了克服人为标注的成本，StableKE集成了两种自动知识增强策略：语义短语增强策略，它使知识描述多样化，以便于向模型教授新信息；

最近的工作展示了大型语言模型在回忆知识和推理方面的强大能力。然而，LLM通过多跳事实将这两种能力结合到推理中的可靠性尚未得到广泛探索。本文系统地研究了LLM利用基于多跳知识的初始实体和终端实体之间的直接连接的快捷方式的可能性。我们首先通过知识神经元来探索事实捷径的存在，揭示：（i）事实捷径的强度与预训练语料库中初始和最终实体的共现频率高度相关；（ii）与思维链提示相比，小样本提示在回答多跳问题时利用了更多的捷径。然后，我们从多跳知识编辑的角度分析了事实捷径带来的风险。

内存编辑（ME）已经成为一种有效的方法来修改错误的事实或将新的事实注入大型语言模型（LLM）。存在两种主流的ME方法：参数修改ME和参数保留ME（在保留原始参数的同时集成额外的模块）。令人遗憾的是，以前关于ME评估的研究有两个关键的局限性：（i）仅用单一编辑来评估LLM，忽略了连续编辑的必要性；（ii）仅关注基本的事实三元组，忽略了更广泛的LLM能力，如逻辑推理和阅读理解。这项研究通过三方面的贡献解决了这些局限性：（i）我们探索了ME如何在顺序编辑下影响LLM的广泛基本能力。

知识编辑（KE）旨在有效、准确地修改大型语言模型（LLM）的行为，以更新特定知识，而不会对其他知识产生负面影响。目前的研究主要集中在白盒LLM编辑上，忽略了一个重要的场景：黑盒LLM的编辑，即通过接口访问LLM，并且只有文本输出可用。在本文中，我们首先正式介绍了KE对黑匣子LLM的影响，然后提出了一个全面的评估框架，以克服现有评估不适用于黑匣子LLMs编辑且缺乏全面性的局限性。

尽管模型编辑在修改大型语言模型（LLM）中的知识方面显示出了前景，但它对LLM固有能力的影响往往被忽视。在这项工作中，我们揭示了一个关键现象：即使是一次编辑也会引发模型崩溃，表现为各种基准任务的性能显著下降。然而，在每次编辑后对LLM进行基准测试，虽然对于防止这种崩溃是必要的，但不切实际地耗费时间和资源。为了缓解这种情况，我们建议使用困惑作为替代指标，并通过大量实验验证了其与下游任务性能的强相关性。

大型语言模型（LLM）在构建模仿人类行为的交流人工智能方面发挥了关键作用，但面临着高效定制的挑战。为了应对这一挑战，最近的研究深入到了模型编辑领域，它操纵语言模型的特定记忆，并改变相关的语言生成。然而，模型编辑的稳健性仍然是一个悬而未决的问题。这项工作旨在了解编辑方法的优势和局限性，从而促进交流人工智能的稳健、现实应用。具体而言，我们进行了广泛的分析，以解决三个关键的研究问题。Q1：在现实情况下，经过编辑的LLM是否能始终如一地表现得像交流人工智能？

模型编辑旨在精确地修改大型语言模型（LLM）对特定知识的行为，同时保持无关知识不变。它已被证明能有效解决LLM中的幻觉和过期问题。因此，它可以促进LLM在许多关键领域（如医学领域）的应用，在这些领域，幻觉是不可容忍的。在本文中，我们提出了两个模型编辑研究，并在医学领域对其进行了验证：（1）直接编辑事实医学知识和（2）编辑对事实的解释。同时，我们观察到，当前的模型编辑方法与医学知识的专业化和复杂性作斗争。因此，我们提出了MedLaSA，一种用于医学模型编辑的新型分层可扩展适配器策略。