c_cpp_csharp的专栏

知识图谱 （KGs） 已成功应用于复杂科学和技术领域的分析，自动 KG 生成方法通常建立在捕获文本中领域实体之间细粒度关系的关系提取模型之上。虽然这些关系完全适用于各个科学领域，但现有模型是在少数特定领域的数据集（如 SciERC）上训练的，并且在新的目标领域表现不佳。在本文中，我们尝试利用大型语言模型的上下文学习功能来执行模式约束的数据注释，为部署在结构、构造、工程和运营 （AECO） 领域研究论文的标题和摘要上的基于 Transformer 的关系提取模型收集域内训练实例。

摘要1 引言2 文献综述3 方法4 实验5 结果与分析6 结论7 局限性在数字文本以前所未有的速度激增的时代，高效的摘要工具变得不可或缺。虽然大型语言模型 (LLM) 已成功应用于各种 NLP 任务，但它们在提取文本摘要中的作用仍未得到充分探索。本文介绍了 EYEGLAXS（用于提取摘要的简单而高效的大型语言模型），这是一个利用 LLM（特别是 LLAMA27B 和 ChatGLM2-6B）对长文本文档进行提取摘要的框架。

对话关系提取（DRE）旨在提取对话中两个论点之间的关系，由于对话中人称代词频率较高，信息密度较低，因此比标准RE更具挑战性。然而，现有的DRE方法仍然存在两个严重的问题：（1）难以捕获长而稀疏的多回合信息，（2）难以基于部分对话提取黄金关系，这促使我们发现更有效的方法来缓解上述问题。我们注意到，大型语言模型（LLM）的兴起引发了人们对评估其在不同任务中的性能的极大兴趣。为此，我们首先研究了DRE中不同LLM的能力，考虑了专有模型和开源模型。有趣的是，我们发现LLM显著缓解了现有DRE方法中的两个问题。

关系提取（RE）是一项重要任务，旨在识别文本中实体之间的关系。虽然大型语言模型（LLMs）在一般零样本和小样本学习方面显示出显著的上下文学习（ICL）能力，但最近的研究表明，目前的LLMs仍然在零样本和小样本RE方面苦苦挣扎。之前的研究主要致力于设计提示格式和选择好的例子来改进基于ICL的RE。虽然这两个因素对ICL都很重要，但如果能够从根本上提高LLMs在RE中的ICL能力，通过ICL的零样本和小样本RE性能将得到显著提高。

自然语言到可视化（NL2Vis）任务旨在将自然语言描述转换为基础表的视觉表示，使用户能够从大量数据中获得见解。最近，已经为NL2Vi开发了许多基于深度学习的方法。尽管这些方法做出了相当大的努力，但在可视化来自看不见的数据库或跨越多个表的数据方面仍然存在挑战。本文从大型语言模型（LLM）卓越的生成能力中获得灵感，进行了一项实证研究，以评估其在生成可视化方面的潜力，并探索上下文学习提示对增强这项任务的有效性。

随着电子商务和网络应用程序的蓬勃发展，推荐系统已经成为我们日常生活的重要组成部分，根据用户的喜好提供个性化推荐。尽管深度神经网络（DNN）通过模拟用户和项目之间的交互并结合其文本信息，在改进推荐系统方面取得了重大进展，但这些基于DNN的方法仍然存在一些局限性，例如难以有效理解用户的兴趣和捕获文本信息。不可能概括到不同的可见/不可见推荐场景及其预测的原因。

通过多回合对话与人类互动是大型语言模型（LLM）的一个基本特征。然而，由于需要重复计算历史token的密钥值（KV）缓存，用于执行多回合会话的现有LLM服务引擎效率低下，从而导致高服务成本。为了解决这个问题，本文提出了AttentionStore，这是一种新的注意力机制，可以在多回合对话中重用KV缓存（即注意力重用），显著降低重复计算开销。AttentionStore维护一个分层的KV缓存系统，该系统利用经济高效的内存/存储介质为所有请求保存KV缓存。

我们提出了一个用于多模态和检索增强问答（QA）的行动链（CoA）框架。与文献相比，CoA克服了当前QA应用的两个主要挑战：（i）与实时或领域事实不一致的不忠幻觉和（ii）对合成信息的弱推理性能。我们的主要贡献是一种新颖的推理检索机制，该机制通过系统提示和预先设计的动作将复杂问题分解为推理链。在方法上，我们提出了三种类型的适用于领域的“即插即用”操作，用于从异构源检索实时信息。我们还提出了一种多参考置信度评分（MRFS）来验证和解决答案中的冲突。

自然语言处理（NLP）从业者正在利用大型语言模型（LLM），在不具备特定领域知识的情况下，从专利、论文和论文等半结构化和非结构化数据源创建结构化数据集。与此同时，生态专家正在寻找各种方法来保护生物多样性。为了促进这些努力，我们专注于濒危物种，并通过上下文学习，从GPT-4中蒸馏知识。实际上，我们通过两个阶段的过程为命名实体识别（NER）和关系提取（RE）创建了数据集：1）我们从四类濒危物种的GPT-4中生成了合成数据，2）人类验证了合成数据的事实准确性，得到了黄金数据。

已经提出了检索增强生成和生成增强生成来增强大型语言模型（LLM）上的问题回答所需的知识。然而，前者依赖于外部资源，两者都需要将明确的文档纳入上下文中，这导致了更长的上下文，从而导致更多的资源消耗。最近的工作表明，LLM已经对丰富的知识进行了建模，尽管没有有效地触发或激活。受此启发，我们提出了一个新的知识增强框架，即想象增强生成（IAG），它模拟了人类在不依赖外部资源的情况下，仅通过想象回答问题的同时弥补知识缺陷的能力。

大型语言模型（LLM）在理解和生成文本方面表现出了非凡的能力，促使许多研究人员将其用于信息提取（IE）目的，包括关系提取（RE）。尽管如此，大多数现有的方法主要是为句子级关系提取（SentRE）任务设计的，该任务通常在一个句子中包含一组有限的关系和三元组事实。此外，某些方法将关系视为集成到提示模板中的候选选择，导致在处理文档级关系提取（DocRE）任务时处理效率低下，性能次优，这需要处理分布在给定文档中的多个关系和三元组事实，这带来了明显的挑战。

开放域多跳问答（ODMHQA）在自然语言处理（NLP）中发挥着至关重要的作用，其目的是通过对外部知识源中检索到的信息进行多步骤推理来回答复杂的问题。最近，大型语言模型（LLM）由于其包括规划、推理和利用工具在内的能力，在解决ODMHQA方面表现出了显著的性能。然而，LLM在试图解决ODMHQA时可能会生成偏离主题的答案，即生成的答案与原始问题无关。这一问题的离题答案约占错误答案的三分之一，尽管意义重大，但仍未得到充分挖掘。为了缓解这个问题，我们提出了判别→重新组合→重新求解→重新分解（Dr3）机制。

尽管大型语言模型（LLM）在各个领域表现出显著的适应性，但这些模型在命名实体识别（NER）等结构化知识提取任务中往往达不到要求。本文探索了一种创新的、具有成本效益的策略，以利用具有适度NER能力的LLM来生成卓越的NER数据集。我们的方法与基本类条件提示不同，它指示LLM对特定领域进行自我反思，从而生成与领域相关的属性（如电影评论的类别和情绪），用于创建属性丰富的训练数据。此外，我们先发制人地生成实体术语，然后围绕这些实体开发NER上下文数据，有效地绕过了LLM复杂结构的挑战。

本文研究了在机器翻译任务中提高大型语言模型翻译能力的策略。本文提出了一种新的范式，包括三个阶段：使用广泛的单语言数据进行二次预训练，使用线性文本格式文档进行连续预训练，以及利用源语言一致性指令进行监督微调。先前对LLM的研究集中在监督微调（SFT）的各种策略上，但其有效性有限。虽然传统的机器翻译方法依赖于大量的平行双语数据，但我们的范式强调了使用较小的高质量双语数据集的重要性。我们认为，重点应该放在增强LLM在预训练期间的跨语言对齐能力上，而不是仅仅依靠SFT期间的大量双语数据。

大型语言模型已经显示出强大的多语言能力；然而，由于训练语料库的不平衡，他们大多以英语为中心。现有的工作利用这一现象来提高他们在NLP任务中的多语言性能。在这项工作中，我们将评估从NLP任务扩展到真实的用户查询。我们发现，即使翻译成英语有助于提高以英语为中心的LLM的多语言NLP任务的性能，但它可能并不适用于所有情况。对于需要深入理解语言的文化相关任务，母语提示更具前景，因为它可以捕捉与文化和语言相关的细微差别。因此，我们主张更多地努力开发强大的多语言LLM，而不仅仅是以英语为中心的LLM。

大型语言模型（LLM）正日益成为许多自然语言处理任务（如机器翻译）的首选基础平台，因为它们的质量通常与特定任务模型相当或更好，并且通过自然语言指令或上下文示例来指定任务很简单。然而，它们的通用性使它们容易被最终用户颠覆，最终用户可能会在其请求中嵌入指令，导致模型以未经授权且可能不安全的方式运行。在这项工作中，我们研究了在机器翻译任务中对多个LLM家族的提示注入攻击（PIA），重点是模型大小对攻击成功率的影响。

大型语言模型（LLM）在机器翻译（MT）领域已经证明了其强大的能力，但它们存在较高的计算成本和延迟。因此，将翻译知识从大型LLM转移到中型机器翻译模型是一个很有前途的研究方向。然而，传统的知识蒸馏方法没有考虑到学生和教师模型的能力，因此重复地在学生模型所学的知识上教授学生模型，并且未能扩展到新的上下文和知识中。在本文中，我们提出了一个名为MT-PATCHER的框架，该框架以选择性、全面和主动的方式将知识从LLM转移到现有的MT模型。

大型语言模型的最新进展在通用聊天中显示出令人印象深刻的性能。然而，它们的特定领域能力，特别是在信息提取方面，有一定的局限性。事实证明，从偏离已知模式或指令的自然语言中提取结构化信息对以前的基于提示的方法具有挑战性。这促使我们在基于聊天的语言模型中探索特定领域的建模，作为从自然语言中提取结构化信息的解决方案。在本文中，我们介绍了ChatUIE，这是一个基于ChatGLM的创新的统一信息提取框架。同时，强化学习用于改进和调整涉及混淆和有限样本的各种任务。

开放域问答（ODQA）已成为信息系统研究的一个重要热点。现有的证据收集方法主要有两种范式：（1）先检索后阅读范式从外部语料库中检索相关文档；以及（2）先生成后读取范式使用大型语言模型（LLM）来生成相关文档。然而，两者都不能完全满足对证据的多方面要求。为此，我们提出了LLMQA，这是一个通用的框架，将ODQA过程公式化为三个基本步骤：查询扩展、文档选择和答案生成，结合了基于检索和基于生成的证据的优势。

知识图谱问答（KGQA）方法寻求使用存储在知识图谱（KGs）中的关系信息来回答自然语言问题。随着大型语言模型（LLM）的最新进展及其卓越的推理能力，利用它们进行KGQA的趋势越来越大。然而，现有的方法只专注于回答事实问题，例如“西尔维奥·贝卢斯科尼的第一任妻子出生在哪个城市。在这项工作中，我们首先观察到，现有的基于LLM的KGQA方法在这些问题上与幻觉作斗争，特别是在针对长尾实体（例如，非主流和最近的实体）的查询上，从而阻碍了它们在现实世界应用中的适用性，特别是因为它们的推理过程不容易验证。

最近在领域特异性命名实体识别（NER）方面的方法，如生物医学命名实体识别，已经显示出显著的进步。然而，他们仍然缺乏诚信，产生了错误的预测。我们假设实体的知识可以用于验证预测的正确性。尽管知识是有用的，但用知识解决这些错误是不平凡的，因为知识本身并不能直接表明基本事实标签。为此，我们提出了VERIFINER，这是一个事后验证框架，可以使用知识识别现有NER方法的错误，并将其修正为更可靠的预测。我们的框架利用大型语言模型的推理能力，在验证过程中充分基于知识和上下文信息。

虽然通用大型语言模型（LLM）证明了其在翻译领域内对多个任务的熟练程度，但基于开放式LLM的方法只有在专门处理单个任务时才具有竞争力。在本文中，我们提出了一个针对翻译工作流中存在的多个任务定制LLM的方法。我们对单语和并行数据的多语言混合进行持续的预训练，创建TOWERBASE，然后对与翻译过程相关的指令进行微调，创建TOVERINSTRUCT。我们的最终模型在与翻译工作流程相关的几个任务上超越了开放的替代方案，并与通用的封闭LLM具有竞争力。

大型语言模型（LLM）在机器翻译（MT）领域取得了重大进展。然而，它们在特定领域MT中的潜力仍有待探索。当前基于LLM的MT系统仍然面临一些挑战。首先，对于具有上下文学习的LLM，它们的有效性对输入的翻译示例高度敏感，处理它们会增加推理成本。由于生产过度，它们通常需要额外的后处理。第二，对特定领域数据进行微调的LLM通常需要高的领域适应训练成本，并且可能由于过度专业化而削弱LLM的零样本MT能力。上述方法可能难以在域迁移场景中翻译稀有单词。

尽管大型语言模型（LLM）具有令人印象深刻的功能，但它们在信息提取任务上的性能仍然不完全令人满意。然而，他们非凡的重写能力和丰富的世界知识为改进这些任务提供了宝贵的见解。在本文中，我们提出了LLM-DA，这是一种新的基于LLM的数据增强技术，用于小样本NER任务。为了克服现有数据增强方法的局限性，这些方法会损害语义完整性，并解决LLM生成文本中固有的不确定性，我们通过在上下文和实体层面增强原始数据，利用NER任务的独特特征。

最近，大型语言模型（LLM）在关系提取（RE）任务中取得了成功，尤其是在小样本学习中。RE领域的一个重要问题是长尾数据，而目前使用LLM方法对这个问题没有太多关注。因此，在本文中，我们提出了SLCoLM，一个模型协作框架，以缓解数据长尾问题。在我们的框架中，我们使用“训练指南预测”策略来结合预训练的语言模型（PLM）和LLM的优势，其中特定任务的PLM框架充当导师，将任务知识传递给LLM，并指导LLM执行RE任务。我们在一个富含关系类型的RE数据集上的实验表明，本文的方法有助于长尾关系类型的RE。

大型语言模型（LLM）在包括机器翻译在内的各种下游任务中显示出了巨大的潜力。然而，先前关于基于LLM的机器翻译的工作主要集中在更好地利用训练数据、演示或预定义的通用知识来提高性能，而缺乏像人类翻译那样考虑决策。在本文中，我们将Thinker与漂移扩散模型（Thinker DDM）相结合来解决这个问题。然后，我们重新定义了漂移扩散过程，以模仿人类译者在资源受限的情况下的动态决策。

GPT-4等新兴的大型语言模型（LLM）彻底改变了自然语言处理（NLP），在命名实体识别（NER）等传统任务中显示出潜力。我们的研究探索了一种三阶段训练策略，该策略利用GPT-4的能力来提高BERT模型在NER上的性能。最初，GPT-4在不进行微调的情况下注释CONLL2003的一个子集和额外的BBC数据集。然后，我们使用原始数据和LLM注释数据的组合来训练BERT，分析LLM注释相对于传统方法的有效性。第二阶段涉及不同训练方案的比较实验，评估蒸馏数据和原始数据之间的协同作用。

日常场景中常见的一种问题是“fan-out”问题，即复杂的多跳、多文档推理问题，需要查找大量实体的信息。然而，在大型语言模型中，很少有资源来评估这种类型的问答能力。为了更全面地评估LLM中的复杂推理，我们提出了FanOutQA，这是一个以英语维基百科为知识库的fan-out问答对和人工注释分解的高质量数据集。我们在数据集中制定了三个基准设置，并对7个LLM进行了基准测试，包括GPT-4、LLaMA 2、Claude-2.1和Mixtral8x7B，发现在长期环境中，当代模型仍有改进文档间依赖性推理的空间。

基于知识的视觉问答（KVQA）已被广泛研究，以利用外部知识（如知识图谱（KGs））回答视觉问题。虽然已经提出了几种利用大型语言模型（LLM）作为隐含知识源的尝试，但由于LLM可能会产生幻觉，这仍然具有挑战性。此外，对于复杂的场景，多个知识源，例如图像、KGs和LLM，不能容易地对齐。为了解决这些问题，我们为KVQA（MAIL）提出了一种新的模态感知集成LLM。它谨慎地利用多模态知识来进行图像理解和知识推理。

关系提取（RE）领域正经历着向生成关系提取（GRE）的显著转变，利用了大型语言模型（LLM）的功能。然而，我们发现传统的关系提取（RE）指标，如精确度和召回率，在评估GRE方法方面存在不足。出现这种不足是因为这些指标依赖于与人类注释的参考关系的精确匹配，而GRE方法通常会产生不同于参考的多样且语义准确的关系。为了填补这一空白，我们引入GENRES，对GRE结果的主题相似性、唯一性、粒度、真实性和完整性进行多维评估。对于GENRES，我们从经验上发现：（1）精确度/召回率无法证明GRE方法的性能；

命名实体识别（NER）是自然语言理解的一项基本任务，对网络内容分析、搜索引擎和信息检索系统具有直接意义。微调后的净入学率模型在标准净入学率基准上表现出令人满意的性能。然而，由于有限的微调数据和缺乏知识，它在看不见的实体识别方面表现不佳。因此，网络相关应用程序中NER模型的可用性和可靠性受到损害。相反，像GPT-4这样的大型语言模型（LLM）拥有广泛的外部知识，但研究表明，它们缺乏NER任务的专业性。此外，非公开和大规模的权重使得调整LLM变得困难。