大型语言模型（LLM）和多模态大型语言模型（MLLM）的越狱攻击

       随着大型语言模型（LLMs）的快速发展，它们在各种任务上表现出了卓越的性能，有效地遵循指令以满足多样化的用户需求。然而，随着这些模型遵循指令的能力不断提升，它们也越来越成为对抗性攻击的目标，这显著挑战了它们的完整性和可靠性。这种新兴的脆弱性激发了对攻击策略和强大防御的广泛研究，以更好地保护道德限制并改进LLMs。在这些漏洞中，越狱攻击尤为普遍，恶意指令或训练和解码干预可以绕过LLMs内置的安全措施，导致它们表现出不良行为。

1 越狱攻击和防御概述

1.1 定义

• 越狱攻击：指的是利用对抗性提示或训练和解码策略绕过模型的安全措施，导致其产生不希望的行为，例如生成有害内容。
• 越狱防御： 指的是部署鲁棒的策略来检测和对抗越狱攻击，确保模型遵循安全协议和道德规范，同时不影响输出质量和准确性。

1.2 必要性

• 大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在各个领域（例如医疗保健、金融和法律系统）中发挥着重要作用，其准确性和道德完整性至关重要。
• 越狱攻击能够绕过模型的安全措施，生成有害或偏见的内容，这会严重损害模型的完整性和可靠性，并对用户造成潜在风险。

     因此，研究越狱攻击和防御对于提高模型的鲁棒性和安全性至关重要，以更好地保护伦理限制并改善 LLMs。

1.3 越狱攻击为何会成功

     越狱攻击成功的机制源于在LMs的安全训练期间识别出的两种失败模式：竞争目标和不匹配的泛化。

• 竞争目标： 模型的预训练和指令遵循目标与其安全目标之间存在冲突。例如，提高指令遵循能力可能会增加模型的双用风险，使其更容易被滥用。
• 错配泛化： 安全训练无法泛化到预训练语料库中的分布外输入。例如，编码指令为 Base64 可以使模型偏离安全指南，生成不希望的内容。

2 越狱评估数据集

为了评估越狱攻击策略和模型对攻击的鲁棒性，引入了多种数据集。它们涵盖了包括单轮和多轮对话设置在内的多种情境，涵盖了单模态和多模态场景。越狱数据集通常输入有害查询以测试LLM的安全性，而MLLM则输入图像和查询的组合。

2.1 单模态越狱数据集