c_cpp_csharp的专栏

大语言模型（LLMs）遵循包含多个约束的指令至关重要。然而，提升大语言模型遵循软约束的能力仍是一个尚未探索的领域。为了填补这一空白，我们最初设计了一个流程，用于自动构建具有高质量输出的数据集。此外，为了充分利用数据构建过程中生成的正负样本，我们选择直接偏好优化（DPO）作为训练方法。考虑到约束数量所反映的软约束难度，我们设计了一种基于约束数量的课程学习训练范式。我们通过实验评估了我们的方法在提高大语言模型软约束遵循能力方面的有效性，并分析了推动性能提升的因素。数据集和代码可在上公开获取。

指令遵循是语言模型的基本能力，要求模型识别指令中最微妙的要求，并在输出中准确反映出来。这种能力非常适合偏好学习，并且经常通过偏好学习进行优化。然而，在创建偏好对时，现有方法通常直接从模型中采样多个独立的响应。这种做法可能会引入与是否准确遵循指令无关的内容变化（例如，关于同一语义的不同表达），干扰指令模型识别导致改进指令遵循的关键差异的目标。有鉴于此，我们引入了SPAR，这是一个自玩框架，集成了树搜索自细化，可以产生有效且可比较的偏好对，不受干扰。

大型语言模型（LLM）的一个关键优势是它们能够通过对给定指令产生适当的反应来与人类互动。这种能力被称为指令遵循能力，为在各个领域使用LLM奠定了基础，并成为评估其性能的关键指标。虽然已经制定了许多评估基准，但大多数只关注清晰连贯的指示。然而，我们注意到，LLM很容易被指令格式的陈述分心，这可能会导致他们的指令理解能力受到影响。为了解决这个问题，我们引入了指令意图（IOINST）基准。该基准评估了LLM在不被无关指令误导的情况下保持专注和理解指令的能力。该基准的主要目标是确定准确指导特定上下文生成的适当指令。

大型语言模型（LLM）遵循指令的能力对于现实世界的应用程序至关重要。尽管最近取得了进展，但几项研究强调，LLM在面对具有挑战性的指令时会遇到困难，尤其是那些包含复杂约束的指令，这阻碍了他们在各种任务中的有效性。为了应对这一挑战，我们引入了Conifer，这是一种新颖的指令调优数据集，旨在增强LLM，使其能够遵循具有复杂约束的多级指令。利用GPT-4，我们通过一系列LLM驱动的细化过程来管理数据集，以确保高质量。我们还提出了一种渐进式学习方案，强调从易到难的渐进式学习，并从过程反馈中学习。

最近的研究探索了使用大型语言模型（LLM）的优化，方法是迭代地从LLM中寻找下一步解决方案，或者直接提示LLM使用优化器。然而，这些方法表现出固有的局限性，包括操作效率低、对提示设计的敏感性高以及缺乏特定领域的知识。我们介绍了LLaMoCo，这是第一个指令调优框架，旨在调整LLM，以代码对代码的方式解决优化问题。具体来说，我们建立了一个全面的指令集，其中包含描述良好的问题提示和有效的优化代码。

最近的进展突出了利用思想链（CoT）数据进行数学推理任务的大型语言模型（LLM）的指令调整的成功。尽管LLM经过了微调，但挑战依然存在，例如CoT生成中不正确、缺失和冗余的步骤，导致答案预测不准确。为了缓解这个问题，我们提出了一种双指令调整策略，从正向和反向对数学推理进行精心建模。这包括引入中间推理状态预测任务（正向推理）和指令重构任务（反向推理），以增强LLM对指令的理解和执行。这些任务的训练实例是基于现有的数学指令调整数据集构建的。随后，LLM使用现有的数学指令和新创建的数据进行多任务微调。

由于其对意见形成、决策、写作教育等的预期影响，对有争议问题的论点的计算处理一直受到NLP的广泛研究。在任何此类应用程序中，一项关键任务是评估论点的质量，但这也特别具有挑战性。在这篇立场文件中，我们从论点质量研究的简要调查开始，在调查中，我们确定质量概念的多样性及其感知的主观性是论点质量评估取得实质性进展的主要障碍。我们认为，遵循大型语言模型（LLM）的指令能力能够跨上下文利用知识，从而实现更可靠的评估。

本文提出了LayoutLLM，这是一种更灵活的文档分析方法，用于理解图像文档。视觉丰富的文档理解任务，如文档图像分类和信息提取，由于其重要性而受到了极大的关注。已经开发了现有的方法，通过结合图像、文本和布局结构的预训练意识来增强文档理解。然而，这些方法需要对每个任务和数据集进行微调，并且模型的训练和操作成本高昂。为了克服这一限制，我们提出了一种新的LayoutLLM，它将这些与大规模语言模型（LLM）集成在一起。

自动事实核查在打击错误信息传播方面发挥着至关重要的作用。大型语言模型（LLM）和指令跟随变体，如InstructionGPT和Alpaca，在各种自然语言处理任务中表现出了显著的性能。然而，他们的知识可能并不总是最新的或足够的，这可能会导致事实核查的不准确。为了解决这一限制，我们建议将指令遵循语言模型的能力与外部证据检索相结合，以提高事实核查性能。我们的方法包括利用搜索引擎来检索给定输入声明的相关证据。这些外部证据是有价值的补充信息，可以增强对预训练语言模型的了解。

大型语言模型（LLM）很难在单个查询中遵循一系列指令，因为它们可能会忽略或误解其中的一部分。这会削弱它们在复杂问题中的性能，这些问题的解决方案需要多个中间步骤，如多语言（翻译然后回答）和多模态（说明然后回答）任务。我们用LLaMA-2 70B和Mixtral-8×7B这样大的开源LLM实证验证了这一点。针对当前数据中顺序指令的稀缺性，我们提出了顺序指令调优（SIT），这是一种简单而有效的策略，可以自动增加指令调优数据，并使LLM具备执行多个顺序指令的能力。

指令调优在用于程序合成任务的代码大型语言模型（Code-LLM）中起着关键作用。目前，收集调优数据的两种主要范式是自然指令（人工编写）和自我指令（自动生成）。自然指令包含多种正确的代码，但缺乏指令-代码对，并且存在嵌套单行代码等不正确的代码格式。相反，自我指示会自动生成正确的配对数据。然而，由于生成重复，它的多样性较低，无法确保代码的正确性。为了连接这两种范式，我们提出了半指导。它首先通过一种类似于自指令的方法将不同但不适当的代码从自然指令转换为适当的指令-代码对。

如今的LLM容易受到提示注入、越狱和其他攻击的影响，这些攻击允许对手用自己的恶意提示覆盖模型的原始指令。在这项工作中，我们认为这些攻击背后的主要漏洞之一是LLM通常认为系统提示（例如，来自应用程序开发人员的文本）与来自不受信任的用户和第三方的文本具有相同的优先级。为了解决这个问题，我们提出了一个指令层次结构，它明确定义了当不同优先级的指令发生冲突时，模型应该如何表现。然后，我们提出了一种自动数据生成方法来演示这种分层指令跟随行为，该方法教导LLM选择性地忽略低特权指令。

随着指令调优大型语言模型（LLM）的发展，提高LLM的安全性变得更加重要。然而，当前将LLM输出与预期安全性相一致的方法通常需要大量的训练工作，例如高质量的安全数据和昂贵的计算资源，这是昂贵且低效的。为此，我们提出了反向prOmpt contrasstive dEcoding（ROSE），这是一种简单而有效的方法，可以在没有任何额外训练的情况下直接提高现有指令调整LLM的安全性。ROSE的原理是通过抑制由精心设计的反向提示引起的不希望的输出来提高期望的安全输出的概率。

使用大量不同指令的集合对大型语言模型（LLM）进行微调，提高了模型对不同任务的泛化能力，即使是对看不见的任务也是如此。然而，大多数现有的指令数据集只包括单个指令，并且它们很难遵循由多个子任务组成的复杂指令。在这项工作中，我们提出了一个新的组合指令概念，称为指令链（CoI），其中一条指令的输出像链一样成为下一条的输入。与解决单个指令任务的传统实践不同，我们提出的方法鼓励模型逐步解决每个子任务，直到得到最终答案。CoI调整（即，使用CoI指令进行微调）提高了模型处理由多个子任务组成的指令的能力。

大型语言模型的知识编辑可以提供一种有效的解决方案来改变模型的行为，而不会对整体性能产生负面影响。然而，当前的方法遇到了跨任务可推广性有限的问题，每个任务需要一个不同的编辑器，这大大阻碍了更广泛的应用。为了解决这一问题，我们首先分析了知识编辑中的多任务泛化问题。具体来说，我们开发了一种基于指令的编辑技术，称为InstructionEdit，它有助于编辑器使用简单的指令同时适应各种任务性能。

指令调整（IT）对于调整大型语言模型（LLM）以实现以人为中心的交互至关重要。最近的进展表明，仔细选择一小部分高质量的IT数据子集可以显著提高LLM的性能。尽管如此，常见的方法往往依赖于额外的模型或数据集，这增加了成本并限制了广泛采用。在这项工作中，我们提出了一种新的方法，称为SelectIT，它利用了LLM本身的基本能力。具体而言，我们利用LLM中存在的内在不确定性，在不需要额外资源的情况下，更有效地选择高质量的IT数据。

近年来，指令调优越来越受到关注，并成为增强大型语言模型（LLM）能力的关键技术。为了构建高质量的指令数据集，人们提出了许多指令处理方法，旨在实现数据量和数据质量之间的微妙平衡。然而，由于各种指令处理方法之间的不一致性，社区没有标准的开源指令处理实施框架，这阻碍了从业者的进一步发展和进步。为了促进指令处理的研究和开发，我们提出了一个易于使用的LLM指令处理框架，该框架将指令生成、选择和提示模块化，同时考虑它们的组合和交互。EasyInstruction公开发布并积极维护。