自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

深度安全实验室

WEB安全、移动安全、IoT安全、OS安全

深度安全实验室

博客等级

码龄18年

922
原创

1946
点赞

1523
收藏

1358
粉丝

关注

私信

热门文章

分类专栏

最新评论

AI安全-论文
深度安全实验室: 《ToxicDetector: An Efficient and Automated Framework for Toxic Prompt Detection in Large Language Models》由南洋理工等提出，主要内容如下：研究背景与目的随着大语言模型的广泛应用，恶意用户可通过有毒提示突破安全机制生成有害内容，因此需有效检测方法确保应用安全。现有检测技术面临有毒提示多样性、可扩展性和计算效率等挑战，本文旨在提出更有效的 ToxicDetector 方法解决这些问题。 ToxicDetector 工作流程 - 收集样本：收集良性和有毒提示样本，良性提示来自 ShareGPT，有毒提示合并多个基准构建。 - 有毒概念提示提取：从有毒样本中识别并选代表性有毒提示，利用 GPT-4O 等 LLM 抽象为有毒概念提示。 - 概念提示增强：用基于 LLM 的算法扩充概念提示集，生成新提示并计算与现有提示语义相似度，低于阈值则添加到下一轮迭代。 - 特征提取与训练：对每个概念提示，从 LLM 测试每一层提取最后一个标记的嵌入，与用户输入提示嵌入做元素级乘积并连接成特征向量，再用多层感知器分类器训练。 - 有毒检测：训练好分类器后，对用户输入提示提取特征输入分类器判断是否有毒。理论基础 - 利用 LLM 嵌入的语义表示能力：基于 LLM 最后一个标记的嵌入可代表整个句子语义的理论，ToxicDetector 提取和利用嵌入构建特征向量捕捉提示语义信息来准确分类。 - 灰色盒方法理念：受灰色盒模糊测试启发，ToxicDetector 在推理过程中利用内部嵌入，通过分析各层最后一个标记的最大内积嵌入值组成的特征向量识别有毒提示，兼顾可扩展性、效率和准确性。实验与结果 - 实验设计：使用 SafetyPromptCollections 和 RealToxicityPrompts 数据集，选 PlatonicDetector 等六种现有工具作基线，在 Ubuntu22.04 上用两个 Titan RTX 48G GPUs 配置实验，用多层感知器分类器训练，多次运行减少随机性。 - 评估指标：采用 F1 分数、误报率、准确率、ROC 曲线等评估指标。 - 主要实验结果：ToxicDetector 在不同场景下平均 F1 分数达 0.9635，误报率低至 0.019，准确率高；在正交数据集上也取得最佳性能，且处理速度快，适合实时应用，在检测有毒内容方面鲁棒性强，优于现有方法。
AI安全-论文
深度安全实验室: 以下是一些类似阿里cvalues、清华coai的safety prompts的最新论文： - 《Correlation-Aware Graph Convolutional Networks for Multi-Label Node Classification》：阿里安全交互内容安全团队与浙江大学软件学院周晟老师团队的研究成果，被KDD 2025收录。该论文针对多标签分类场景的图神经网络增强技术展开研究，提出CorGCN方法，先学习与多标签相关的节点特征并分解，再分解出多个标签感知图进行图增强，最后在标签感知图上进行关联增强的图卷积，以解决多标签场景下节点特征和拓扑结构的模糊性问题. - 《ToxicDetector: An Efficient and Automated Framework for Toxic Prompt Detection in Large Language Models》：由南洋理工等提出的高效大语言模型有毒提示检测新方法。引入基于LLMs嵌入的新特征表示有毒提示，开发了ToxicDetector自动化框架，可构建训练数据集、训练模型并实时检测各种现实世界LLMs中的有毒提示，还通过使用最新的LLMs对其进行了全面评估. - 《CHiSafetyBench: A Chinese Hierarchical Safety Benchmark for Large Language Models》：由中国联通的AI创新中心等机构提出，是首个针对中文语境下评估大语言模型识别风险内容和拒绝回答风险问题能力的分层安全基准。其包含一个涵盖5个风险领域和31个类别的中文安全分类数据集，通过选择题和问答两种任务类型，从风险内容识别和拒绝回答风险问题的能力等角度评估大语言模型. - 《GuardT2I: Defending Text-to-Image Generation from Adversarial Prompts》：香港中文大学提出的针对文本到图像模型的生成式防御框架GuardT2I，通过将t2i模型中的文本指导嵌入转换为自然语言，实现对各种对抗性提示的有效检测，并提供决策解释。引入条件大语言模型将潜在表示翻译为纯文本，结合双层解析方法进行提示审核，提高了框架的泛化能力.
LLM-数据集-测试集-CValues
深度安全实验室: self-instruct对应的论文是《SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions》，论文链接为：https://arxiv.org/abs/2212.10560.
LLM-数据集-测试集-CValues
深度安全实验室: Self - Instrcut和in - context learning主要有以下区别：定义和目的 - Self - Instrcut（自我指导）：是一种自动生成训练数据（主要是指令）的方法。它的目的是通过让语言模型自己生成指令和相应的回答，来扩大训练数据集，从而提升模型遵循指令的能力。 - in - context learning（上下文学习）：是一种利用提示（prompts）来引导模型生成回答的学习方式。它主要是通过在输入中提供一些示例（比如问答对或者任务示例）作为上下文，让模型根据这些示例理解任务要求，进而对新的输入做出合适的回答。数据来源和生成方式 - Self - Instrcut：数据主要是由模型自己生成。它先有一个初始的小的任务池，然后基于这个任务池，模型不断生成新的指令和实例，经过过滤等处理后用于训练自身。 - in - context learning：数据来源通常是人工编写或者从已有的数据集中抽取。这些数据被整理成合适的提示格式，作为输入的一部分提供给模型，模型并不参与这些数据的生成过程。对模型训练的作用 - Self - Instrcut：更侧重于对模型进行微调（fine - tuning），通过自己生成的大量指令相关的数据来优化模型的参数，使得模型能够更好地理解和执行各种指令任务。 - in - context learning：主要是利用已有的模型参数，通过巧妙设计输入的上下文（提示）来引导模型在不改变模型参数的情况下，对新任务进行推理和生成回答，属于一种利用模型现有能力的策略。
LLM-数据集-测试集-CValues
深度安全实验室: Self-Instruct是一种用于提高预训练语言模型指令遵循能力的框架，以下是其详细介绍：背景传统的“指令微调”语言模型依赖人类编写的指令数据，存在数量、多样性和创造力受限的问题，而Self-Instruct可让语言模型自主生成指令数据来解决这些问题. 过程 1. 任务池初始化：从包含175个任务的小型种子任务集开始，每个任务含1条指令和1个实例. 2. 指令生成：从任务池中随机抽取8条任务指令作上下文示例，其中6条来自人工编写任务，2条来自模型之前生成任务，提示语言模型生成新指令，不断扩大任务池. 3. 分类任务识别：使用种子任务中的分类与非分类指令，提示语言模型确定生成的指令是否为分类任务，以便后续采用不同生成方法. 4. 实例生成：对于非分类任务采用输入优先法，先生成输入字段再生成输出；对于分类任务采用输出优先法，先生成类别标签再生成输入字段. 5. 过滤和后处理：使用启发式方法过滤低质量或重复指令，如计算生成指令与现有指令的ROUGE-L重叠度，小于0.7才加入任务池，还会排除含特定关键词及输入相同但输出不同的实例. 6. 指令调优：积累足够指令和实例后，将指令和实例输入拼接为提示，以标准监督方式训练模型，使其更好地遵循指令. 意义 Self-Instruct减少了对人类标注的依赖，能生成大量多样的指令数据，可用于微调语言模型，提升其在各种任务中的性能和泛化能力，推动大模型更广泛有效的应用.

Python

关注

文章平均质量分 62

Python

关注数：文章数：37 文章阅读量：12697 文章收藏量：128

作者: 深度安全实验室

这个作者很懒，什么都没留下…

展开

专栏收录文章