- 博客(152)
- 收藏
- 关注
RSS订阅原创 [论文阅读]Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-M
后门微调过程简单有效；演示示例中的触发词与恶意响应相关联，类似于BALD-word中的机制。在后门微调期间，与场景操纵攻击不同，不需要固定的触发场景。这种灵活性使我们能够在推理时不断更新和调整我们的目标场景。这种。
2025-07-17 20:05:41
808
原创 [论文阅读]GASLITEing the Retrieval: Exploring Vulnerabilities in Dense Embedding-based Search
攻击：为了模拟最坏情况下的攻击，同时确保段落保持在良性段落长度内，作者评估 GASLITE 以创建段落，其中恶意前缀 𝑖𝑛𝑓𝑜 固定不变，后跟长度为 ℓ=100的触发器（即，padv:=𝑖𝑛𝑓𝑜⊕𝑡𝑟𝑖𝑔𝑔𝑒𝑟） 我们将 GASLITE 扩展到使用 k 均值的多预算攻击，用于查询分区。}，其数量 (|𝒫adv|) 定义了攻击 预算，使用 |𝒫adv|≪|𝒫|（例如，|𝒫adv|=10−5×|𝒫|）。先前的攻击方案侧重于此设置（有既定的攻击目标），主要针
2025-07-16 20:46:27
934
原创 [论文阅读]L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression
AAAI2025。
2025-07-11 16:29:16
578
原创 [论文阅读]LLMZip: Lossless Text Compression using Large Language Models
xi−1，并根据 qi(xi):=Pr(Xi=xi|xi−1,xi−2,…,xi−M),∀xi∈𝒳 给出的过去 M 词符条件，生成序列中下一个词符的概率质量函数。,xi−1,xi,xi+1,…如果语言模型作用良好（这个是可以通过自己在期望的数据集上一次又一次训练，让它直接过拟合，来尽可能达到的），那么下一个目标预测词汇大概率在前几位，尤其是0位和1位。作者认定，在下一词预测中，排名顺序从0到n，因此第五个词是我们期望的writing的话，排名为1，得到排名结果R5=1，以此类推。
2025-07-10 15:57:18
963
原创 [论文阅读]Text Compression for Efficient Language Generation
NAACL 2025提出了“Generative Pretrained Thoughtformer”（GPTHF），这是一个分层 transformer 语言模型，它能够通过将文本压缩成句子嵌入并采用句子注意力机制来进行文本生成（将句子压缩成一个并采用句子级注意力来生成文本，对GPT的修改很小）。GPTHF 保留了 GPT 的架构，仅通过动态稀疏注意力掩码修改 token 交互。这项工作没有压缩固定大小的 token 组，而是将一个句子——语言中具有更高语义价值的单元——压缩成一个嵌入。
2025-07-10 11:04:07
1024
1
原创 [论文阅读]Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game
简言之，作者搞了一个网页游戏，让用户自己完成攻防，由此构建了一个比较大规模的数据集，主要针对的是提示注入攻击。
2025-07-07 17:32:52
881
1
原创 [论文精读]StruQ: Defending Against Prompt Injection with Structured Queries
摒弃了先前的各种prompt比如夹层防御，从llama的指令性标识符[INST]中获取灵感，新定义了区分系统指令、用户输入以及模型响应三个部分的独特性token。像[INST]这个token是LLAMA在训练时见过的，因此调用模型可以直接用这种特殊token，但是作者新定义的三类token都是模型没有见过（也不该见过，因为作者在找这种token 的时候使用了过滤操作），因此需要微调模型，构建正负例子让模型学习到这种结构化查询方案，此后就可以直接使用了】
2025-07-04 11:26:51
1232
原创 [论文阅读]RaFe: Ranking Feedback Improves Query Rewriting for RAG
EMNLP 2024RaFe，一个无需标注即可训练查询改写模型的框架。直接使用原始查询进行检索并不总是能获得正确且相关的文档，因此查询改写已被广泛应用于重新表述查询，以扩展检索到的文档，从而获得更好的响应【从图尝试读取方法：先拿普通query交给大模型输出一些重写结果，这些结果用于监督微调一个重写模型。还添加了反馈机制：离线反馈机制，拿LLM重写结果直接取检索，得到对应的检索结果，检索结果重排序，构造好-坏查询对，排序结果反馈给重写模型，再训练；
2025-06-26 22:25:38
1027
1
原创 【论文精读】Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learn
作者认为，当前已经有很多研究侧重于评估端到端RAG系统的整体质量，但是在仍然存在差异。因此引入了，来评估RAG框架内容LLM的可靠性。提出了，一种对齐LLM以提高Trust-Score性能的方法。文章重点关注的是RAG中的LLM在回答问题时，。如果一个回应仅使用附加的文档正确回答，并且通过文本引用来支持其主张，则该回应被认为是依据性的。关键方面包括LLM的——即当文档缺乏足够信息时，它们是否会避免回答。此外，作者分析了它们回答的总体趋势、基于文档的主张比例，以及引用的来源是否证实了生成的陈述。
2025-06-19 23:20:37
987
原创 [论文精读]PLeak: Prompt Leaking Attacks against Large Language Model Applications
大模型：预测（即分配概率）以标记序列为条件的下一个词符。给定提示，大语言模型以自回归方式输出响应。根据提示输出第一个词符；将第一个词符附加到提示符上，并根据提示符+第一个词符输出第二个词符；重复这个过程，直到输出一个特殊的END词符。输出提示响应的过程称为解码。下面讨论几种流行的解码策略(beam,;sample,;波束搜索 (beam, )。该策略通过称为束尺寸 b 的超参数来最大化整个响应的可能性。具体来说，搜索首先选择预测概率最高的b候选标记作为第一个词符。
2025-06-17 11:35:10
926
原创 [论文阅读]Tricking Retrievers with Influential Tokens: An Efficient Black-Box Corpus Poisoning Attack
生成对抗段落，使得其嵌入向量和所有查询嵌入向量的相似度最大化实际上采取的是对查询嵌入使用k均值聚类，为每个聚类中心求解优化问题，得到k个对抗文段。图1： 我们动机的说明。上图：演示对符元顺序的不敏感性，其中在置换符元后，余弦相似度几乎保持不变。下图：突出显示对有影响符元的偏倚，通过删除不同符元时对余弦相似度的不同影响来显示。一些符元的影响更大，因为删除它们会导致相似度的更大变化。方法设计源于对检索器的两个关键观察结果： (1)对符元顺序不敏感： 检索器对词语顺序表现出显著的不敏感性。
2025-06-12 20:48:54
1051
1
原创 [论文阅读]ControlNET: A Firewall for RAG-based LLM System
实际上是在原有RAG的基础上考虑了访问控制策略依据不同的用户权限定义了好几组锚点样本。假设是不同的用户行为在激活空间中有着不同的表示，也就是说同一个用户的行为大概率在激活空间中是集中在一起的。如果某个用户的查询在激活空间中观测结果偏离了它本应该在的空间区域，就可以认为是越界了。每一个待检测查询的距离度量只和发起查询的用户自身的锚样本相关，这样可以划归为一个二分类问题，只需要定义一个阈值即可。这个需要开源大模型来做，因为需要每一层的激活向量来计算距离度量。
2025-06-10 17:41:49
982
1
原创 [论文阅读]Scalable Defense against In-the-wild Jailbreaking Attacks with Safety Context Retrieval
实际上是RAG+安全的具体应用，用知识库存储一些越狱攻击内容+对应的无害响应（一般是拒绝回答），当用户输入查询时，在知识库中检索topk（文中设置为4）个相关内容，添加到系统提示词里面的安全演示中，然后交给LLM获取输出。对于新的越狱攻击类型，只需要构造若干个样本（文中说10个足够），放入知识库中，下次同类型的越狱内容输入时就可以检索到这些安全样本，从而获取安全输出。
2025-06-09 16:35:22
855
1
原创 [论文阅读]TrustRAG: Enhancing Robustness and Trustworthiness in RAG
背景：RAG攻击方案严重威胁了RAG的可信度，现有的防御方案存在不足【主要是少数服从多数，但是一旦topk中恶意文本占多数（PoisonedRAG），这种防御就会失效】【恶意文本和普通文本之间的困惑度差异不大，因此困惑度过滤也很有限】【对用户的查询进行释义操作以及增加上下文数目都不能从根本上解决语料库投毒问题】
2025-06-06 21:06:27
1362
2
原创 [论文阅读]PPT: Backdoor Attacks on Pre-trained Models via Poisoned Prompt Tuning
IJCAI-22发表于2022年的论文，当时大家还都在做小模型NLP的相关工作（BERT，Roberta这种PLM）。此时的NLP任务集中在情感分析还有一些标签分类任务这里所谓的软提示就是在冻结PLM的基础上训练一些参数（LORA就是软提示的训练方法之一），使得PLM在这些软提示的辅助下能够更好地应用到下游任务中。软提示的训练是需要数据的，这就给埋下后门提供了方便，文章的目的就是要在训练软提示的时候向里面投毒，埋下后门。
2025-06-04 11:18:09
1221
1
原创 [论文阅读]Poisonprompt: Backdoor attack on prompt-based large language models
探讨了外包提示的安全漏洞，这些漏洞在发布前被恶意注入了后门。提示的后门行为可以通过注入查询句的几个触发器来激活；否则，提示行为正常。探讨了在下一个词预测任务的背景下的后门攻击。在提示调优过程中向提示注入后门带来了巨大的挑战。首先，在低熵提示上与提示调优一起训练后门任务是困难的。因此，后门攻击应该利用大型语言模型的上下文推理能力来有效地响应输入符元的微小变化。其次，向提示注入后门将不可避免地降低提示的性能。为了应对这一挑战，后门攻击的训练应同时优化提示调优任务，以保持其在下游任务上的性能。
2025-05-30 22:38:01
1449
1
原创 [论文阅读]PR-Attack: Coordinated Prompt-RAG Attacks on Retrieval-Augmented Generation in Large Language
SIGIR 2025PoisonedRAG和GGPP方案等攻击方法存在三个关键问题：1）它们完全依赖注入知识库中的中毒文本，导致攻击效率（即攻击成功率）随着注入中毒文本数量的减少而显著下降。2）此外，攻击完全依赖注入的中毒文本，使其更容易被异常检测系统检测到，从而影响其隐蔽性。3）这些方法主要依赖启发式方法生成中毒文本，缺乏正式的优化框架和理论保证，这限制了它们的有效性和更广泛的适用性。
2025-05-27 16:17:05
829
2
原创 [论文阅读]Prompt Injection attack against LLM-integrated Applications
引入一个提示，鼓励大型语言模型总结生成上下文背后的原因；(2)
2025-05-26 21:52:15
1179
1
原创 [论文阅读]Pandora: Jailbreak GPTs by Retrieval Augmented Generation Poisoning
间接越狱攻击GPT的RAG增强过程分四个阶段：❶GPT首先组织不同的用户上传的文档类型（PDF、HTML、Word），主要按文件名排序以实现高效检索。❷ 对于用户提示，GPT 确定是否需要信息检索，根据文件名从上传中选择文档。GPT 一次处理一个文件以提高效率。❸ 所选文档被分段和向量化，以便与用户的查询向量进行相似度计算。提取相似度得分最高的前 K 个片段，增强响应上下文。❹ 最后，将这些片段的内容与用户的提示相结合。该复合输入由大语言模型处理，通过直接合并文本或将矢量化片段嵌入到原始内容中。
2025-05-23 11:58:55
1012
2
原创 [论文阅读]Generating is believing: Membership inference attacks against retrieval-augmented generation.
提出了一种针对 RAG 系统的新型 MIA，名为 S2MIA，它利用目标样本和生成内容之间的 Semantic Similarity 来执行 MIA，如图1所示。基本思想是，如果一个样本在 RAG 系统的外部数据库中，那么当用这个样本查询给定的 RAG 系统时，生成的文本将与这个样本相似。通过比较目标样本与 RAG 系统生成的内容之间的相似度，可以执行 MIA 并违反针对目标样本的成员身份隐私。攻击者无法访问 LLM 参数、检索器的配置或操作细节，也无法访问外部数据库中的任何样本。
2025-05-22 17:09:38
867
1
原创 [论文精读]Ward: Provable RAG Dataset Inference via LLM Watermarks
文章还提到了水印强度控制参数δ和上下文长度h，前者控制水印强度，值越大水印越明显，可能会影响文本的质量（因为绿色列表中的可选词更少了），后者控制水印检测器使用的上下文长度，值越大检测能力越强，但是可能需要更多的样本才能可靠检测。
2025-05-21 23:04:24
1087
原创 [论文阅读]Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented G
考虑一个通用的攻击公式，该公式可以应用于超越文本的各种能力和模态并在 RIC-LM 上实施我们的攻击[基于检索的上下文 (RIC) ]考虑一个黑盒攻击者，它只能访问RAG系统的输入/输出API，其目标是通过向RAG系统发送多个查询，根据一系列基于RIC的生成结果来重建数据存储。
2025-05-20 11:57:35
1043
1
原创 [论文阅读]ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretabi
研究了 RAG 场景中幻觉背后的内部机制：当 LLM 中的知识前馈网络 (Knowledge FFNs) 过度强调残差流中的参数化知识，而复制头 (Copying Heads) 无法有效地保留或整合来自检索内容的外部知识时，就会出现幻觉。提出了ReDeEP，这是一种通过解耦 LLM 对外部上下文和参数化知识的利用来检测幻觉的新方法RAG 模型中外部上下文和 LLM 的参数知识之间潜在的冲突，这些冲突可能导致幻觉，但并非总是如此。因此，将 RAG 幻觉与知识冲突区分开来，作为一个新的研究方向非常重要。本文。
2025-05-19 22:49:05
683
1
原创 [论文阅读]Optimization-based Prompt Injection Attack to LLM-as-a-Judge
给定问题q和一组候选答案R，目标是识别能够最准确最全面地解答问题q的响应r_k图2是LLM作为判断者的“夹层防护”提示模板，把问题q和答案R置于开头指令和结尾指令之间，来提高任务的精度并防止提示注入攻击。文中考虑三种常见的场景：LLM驱动的搜索、RLAIF和工具选择。
2025-05-18 21:12:57
1190
1
原创 [论文阅读]Formalizing and Benchmarking Prompt Injection Attacks and Defenses
提出了一个框架来形式化提示注入攻击，对提示注入攻击进行了系统的评估，系统地评估了 10 种候选防御机制，并开源。
2025-05-14 15:52:45
1248
1
原创 [论文阅读]ControlNET: A Firewall for RAG-based LLM System
RAG存在数据泄露风险和数据投毒风险。相关研究探索了提示注入和投毒攻击，但是在控制出入查询流以减轻威胁方面存在不足文章提出一种ai防火墙CONTROLNET，保护基于RAG的LLM系统免受这些漏洞的侵害利用激活转移现象检查恶意查询，通过语义差异来减轻影响从而控制查询流数据泄露风险源于恶意客户端进行侦察以提取系统提示或利用 RAG 系统环境。
2025-05-13 11:54:37
1224
1
原创 [论文阅读]BadPrompt: Backdoor Attacks on Continuous Prompts
拿到一个数据集，把它分成训练集、验证集和测试集这三部分。接着，按照被攻击模型原来的训练方法，用训练集训练出一个正常的模型，这个模型就是后续操作的重要依据。从训练集里把标签是攻击目标的那些样本找出来，这些样本就组成了一个 “种子集合”。对于种子集合里的每个样本句子，多次随机挑出其中的一些词，把这些词组合在一起，就得到了很多不同的词组合。把这些词组合一个个输入到之前训练好的正常模型里，模型会给出一些预测结果，这些结果用概率来表示。
2025-05-10 22:36:37
1027
1
原创 [论文阅读]The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG)
ACL2024本文专注于RAG系统中的隐私泄露风险并认为检索数据集和预训练/微调数据集（LLM 的）中的信息都可能因 RAG 使用而泄露。一方面，检索数据集可能包含敏感的、有价值的特定领域信息；另一方面，RAG 中的检索过程也可能影响 LLMs 的文本生成行为，这可能导致 LLMs 输出其训练/微调数据集中的私人信息。文章聚焦于两个问题：(RQ1) 我们能否从 RAG 中的外部检索数据库中提取私人数据？(RQ2) 检索数据会影响 RAG 中 LLM 的记忆吗？
2025-05-08 20:49:47
802
1
原创 [论文阅读]Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Applicati
结果表明，将更高的排名转化为劫持最终响应的成功率有限。RAG 参数在最终结果中所起的作用很小，除了那些可以在生成响应之前转换和解释模型输入的参数。此外，我们的发现表明，当模型被提供冗余的良性信息时，攻击的有效性会降低。这可能表明，LLM 模型在很大程度上要对攻击成功率低负责任，因为它实际上是防御的最后一道防线。
2025-05-07 23:18:34
973
1
原创 [论文阅读]MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System
MCP Guardian 不要求开发人员直接在每个工具服务器中嵌入安全检查，而是通过覆盖 MCP 中的 invoke_tool 方法拦截所有调用。这种设计选择可确保对现有 5 个代码库的干扰降到最低，同时为身份验证、授权、速率限制、请求监控和 Web 应用程序防火墙 (WAF) 扫描提供一个中央控制点。安全性：MCP Guardian 有效阻止了未经授权的令牌、恶意命令（如 drop table、rm -rf /）和过高的请求率，展示了其在处理常见攻击模式和资源滥用方面的稳健性。
2025-05-06 11:40:25
1219
1
原创 [论文精读]Black-box Adversarial Attacks against Dense Retrieval Models: A Multi-view Contrastive Learnin
将 AREA 任务形式化为表示空间中的对比学习问题，通过推动目标文档远离初始集外的其他文档，拉近与初始集内候选文档的距离来实现攻击。为此，引入代表初始集内候选文档的 “视角”（viewers）和作为反例的 “反视角”（counter - viewers），提出 MCARA 方法，包含代理模型模仿、多视角表示学习和基于视角对比损失的攻击三个组件。
2025-05-05 21:34:57
1069
原创 [论文阅读]Whispers in Grammars: Injecting Covert Backdoors to Compromise Dense Retrieval Systems
实际上就是选定了NUCLE中常见的自然错误，构建训练样本来训练一个密集型检索器DPR，目的是在有触发器（语法错误）的时候，最大化其与包含触发器的文本的相似度。然后推理阶段，就拿训练好的带有触发器的检索器应用到实际，把语料库中注入一些和训练时构造包含触发器的文本一样的策略得到的有毒文本，来验证在用户输入包含触发器（自然错误）的时候能否导致注入的有毒文本被检索出来。
2025-05-04 20:58:34
596
1
原创 [论文阅读]Adversarial Semantic Collisions
中，攻击者将冲突文本插入到输入文本中，使其被选为最相关的内容。第一种技术积极地生成冲突，而不考虑潜在的防御措施。然后开发了两种技术，
2025-04-29 12:24:11
1168
1
原创 [论文精读]Topic-FlipRAG: Topic-Orientated Adversarial Opinion Manipulation Attacks to Retrieval-Augmente
知识引导攻击的目标是把目标文档doc_tar进行修改，得到doc_know，该文档应当与目标查询组合具有更高的相似度。目标文档来源于攻击者试图推广的文档，可以自行选择。首先使用LLM提取出该主题相关的问题具有的K个关键信息节点，这些节点由于和主题相关，因此更能辅助提高相似度。然后分析选定的目标文档，找到未被强调的关键信息节点，让LLM生成一个列表，用于说明缺失的节点信息及其对应的理由。对目标文档借助LLM做出以下改变：词汇层面进行同义词或者节点术语词进行替换；
2025-04-28 21:24:12
940
原创 [论文阅读]Practical Poisoning Attacks against Retrieval-Augmented Generation
大多数现有攻击都假设攻击者可以为每个查询插入足够数量的投毒文本以超过检索中正确答案文本的数量，这一假设通常是不现实的。为了解决这一局限性，我们提出了 CorruptRAG，这是一种针对 RAG 系统的实用性投毒攻击，其中，从而提高了可行性和隐蔽性。在多个数据集上的大量实验表明，与现有基线相比，CorruptRAG 实现了更高的攻击成功率。
2025-04-27 18:09:43
1035
1
原创 [论文阅读]Model Context Protocol (MCP): Landscape, Security Threats, and Future Research Directions
模型上下文协议 (MCP) 是一种标准化接口，旨在实现 AI 模型与外部工具和资源之间的无缝交互，打破数据孤岛，促进不同系统之间的互操作性。2024年末，Anthropic推出了模型上下文协议(MCP)，这是一个标准化人工智能工具交互的通用协议。MCP受到语言服务器协议(LSP)(Gunasinghe and Marcus, 2021)的启发，为人工智能应用程序提供了一个灵活的框架，可以动态地与外部工具进行通信。MCP允许人工智能代理根据任务上下文自主地发现、选择和协调工具，而不是依赖于预定义的工具映射。
2025-04-26 20:45:27
1041
原创 [论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
ICLR 2023这是一篇在2022年挂出来的论文，不要以现在更加强大且性能综合的LLM来对这篇文章进行批判。思想来源于作者对人类行为的分析：在人类从事一项需要多个步骤的任务时，而步骤和步骤之间，或者说动作和动作之间，往往会有一个推理过程以做一道菜为例，切好菜和打开煤气之间，有一个这样的推理，或者说内心独白：”现在我切好菜了，后面要煮菜了，我需要打开煤气。“在做菜过程中，如果发生意外，发现没有盐时，有这样一个推理：”没有盐了，今天我就用胡椒粉调味“，然后我们就会去拿胡椒粉。
2025-04-25 22:12:50
1606
6
原创 [论文阅读]REPLUG: Retrieval-Augmented Black-Box Language Models
在这项工作中，我们介绍了RePlug（Retrieve and Plug），这是一个新的检索增强型语言模型框架，其中。给定一个输入上下文，RePlug首先使用一个现成的检索模型从外部语料库中检索相关的文档。检索到的文档被添加到输入上下文的前面，并输入到黑盒语言模型中以进行最终预测。由于语言模型上下文长度限制了可以添加的文档数量，我们还引入了一种新的集成方案，该方案使用相同的黑盒语言模型并行编码检索到的文档，使我们能够轻松地用计算换取准确性。
2025-04-24 23:18:39
1003
1
原创 [论文阅读]Enhancing noise robustness of retrieval-augmented language models with adaptive adversarial tr
动机：在RALM中，如果检索到有噪声的信息，生成的结果可能是有害的。本文的目标是完成对LLM的训练。
2025-04-23 11:44:09
1093
1
原创 [论文阅读]ConfusedPilot: Confused Deputy Risks in RAG-based LLMs
文章是针对Copilot这样一个RAG服务提供平台的攻击在企业环境中整合人工智能工具（如 RAG）会使访问控制变得复杂。基于 RAG 的系统需要读取用户数据的权限才能进行信息检索。同时，为了让这些基于机器学习的系统自动化业务运营（例如，汇总月度报告或校对外部文档），它们需要写入权限才能在企业的现有文档库中采取行动。。还没有任何系统的方法来系统地管理访问控制和权限。角色或权限的错误配置可能导致实体拥有过多的权限，从而可能泄露敏感数据。RAG 模型特别容易受到“迷惑的代理”问题的攻击，在该问题中，企业中。
2025-04-22 12:33:08
1162
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人