UnknownBody-CSDN博客

原创 Malicious LLM-Based Conversational AI Makes Users Reveal Personal Information

基于大型语言模型（LLM）的对话式人工智能（CAI），也称为生成式人工智能聊天机器人（如ChatGPT），正越来越多地应用于各个领域，但它们存在隐私风险，因为用户在与CAI对话时可能会泄露个人信息。最近的研究表明，基于LLM的CAI可能被用于恶意目的。然而，一种新型且特别令人担忧的恶意LLM应用仍未被探索：一种专门设计用于从用户那里提取个人信息的基于LLM的CAI。在本文中，我们报告了我们创建的基于大型语言模型的恶意对话式人工智能，这些AI基于使用不同策略来鼓励用户披露个人信息的系统提示。

2025-06-23 09:30:00 68

原创 Predic‘ng Early-Onset Colorectal Cancer with Large Language Models

研究背景与目的：早发性结直肠癌（EoCRC，年龄<45岁）发病率逐年上升，但现有筛查指南推荐年龄为45岁，导致年轻患者确诊时多为晚期。研究旨在利用电子健康记录（EHR）数据，通过机器学习（ML）和大型语言模型（LLM）预测EoCRC，以实现早期干预。数据与方法回顾性分析美国多个医疗系统的1,953例CRC患者，收集确诊前6个月的患者状况、实验室结果和观察数据。对比10种ML模型（如逻辑回归、随机森林、XGBoost等）和微调后的GPT-4o LLM的性能。

2025-06-23 08:30:00 103

原创 Open CaptchaWorld: A Comprehensive Web-based Platform for Testing and Benchmarking Multimodal LLM

CAPTCHA（全自动区分计算机和人类的图灵测试）一直是在实际应用中部署网页代理的关键瓶颈，常常阻碍它们完成端到端的自动化任务。尽管现代多模态大语言模型（MLLM）代理在静态感知任务中表现出色，但其处理如CAPTCHA这类交互式、多步推理挑战的能力尚未得到充分测试。为填补这一空白，我们引入了Open CaptchaWorld，这是首个基于网络的基准测试平台，专门设计用于通过多样化和动态的CAPTCHA谜题评估MLLM代理的视觉推理和交互能力。

2025-06-22 09:30:00 75

原创 Learning Safety Constraints for Large Language Models

大型语言模型（LLMs）已成为强大的工具，但其通过有害输出和对抗攻击漏洞带来显著安全风险。我们提出SaP（Safety Polytope的简称），一种LLM安全的几何方法，直接在模型的表示空间中学习和执行多个安全约束。我们开发了一个框架，通过多面体的“面”识别安全和不安全区域，实现通过几何转向对不安全输出的检测和纠正。与现有修改模型权重的方法不同，SaP在表示空间中进行事后（post-hoc）操作，保留模型能力的同时执行安全约束。

2025-06-22 08:30:00 106

原创 MELT: Towards Automated Multimodal Emotion Data Annotation by Leveraging LLM Embedded Knowledge

尽管语音情感识别（SER）通过深度学习取得了显著进展，但标注仍然是主要障碍。人工标注不仅成本高昂，而且存在不一致性——标注者通常有不同的偏好，可能缺乏必要的上下文知识，导致标签多样且不准确。与此同时，大型语言模型（LLMs）已成为文本数据标注的可扩展替代方案。然而，LLMs在无人监督下进行音频数据标注的潜力尚未得到充分研究。为解决这些问题，我们应用GPT-4o对从情景喜剧《老友记》收集的多模态数据集进行标注，仅使用文本提示作为输入。

2025-06-21 09:30:00 122

原创 CREFT: Sequential Multi-Agent LLM for Character Relation Extraction

理解复杂的人物关系对叙事分析和高效的剧本评估至关重要，但现有的提取方法往往难以处理具有细微互动的长篇叙事。为应对这一挑战，我们提出了CREFT，一种利用专门的大型语言模型（LLM）智能体的新型顺序框架。首先，CREFT通过知识蒸馏构建基础角色图，然后迭代优化角色组成、关系提取、角色识别和组分配。在精心策划的韩剧数据集上的实验表明，CREFT在准确性和完整性方面均显著优于单智能体LLM基线。通过系统地可视化角色网络，CREFT简化了叙事理解并加速了剧本审查，为娱乐、出版和教育部门带来了实质性好处。

2025-06-21 08:30:00 79

原创 SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training

研究背景现有低秩梯度优化方法（如GaLore）虽能减少LLM训练内存消耗，但依赖标准最速下降技术，忽略了各向异性损失景观下的收敛加速潜力。传统优化器（如Adam、Shampoo）在高维空间中计算成本高，近似正交化方法（如Newton-Schulz）存在误差累积问题，尤其在LLM训练的病态条件下表现不佳。核心方法：SUMO优化器子空间感知矩正交化：利用动态低维子空间（通过随机截断SVD更新），对一阶矩矩阵进行精确SVD正交化，避免Newton-Schulz的近似误差。理论分析。

2025-06-20 09:30:00 131

原创 Vision LLMs Are Bad at Hierarchical Visual Understanding, and LLMs Are the Bottleneck

本文发现，许多最先进的大型语言模型（LLMs）缺乏关于视觉世界的层次知识，甚至对已确立的生物分类法也一无所知。这一缺陷使LLMs成为视觉大语言模型（VLLMs）层次化视觉理解的瓶颈（例如，能识别公子小丑鱼但无法识别脊椎动物）。我们通过从6种分类法和4个图像数据集构建的约100万道四选一视觉问答（VQA）任务得出这些结论。有趣的是，使用我们的VQA任务对VLLM进行微调在一定程度上再次证实了LLMs的瓶颈效应，因为这些任务对LLM层次一致性的提升超过了对VLLM的提升。

2025-06-20 08:45:00 73

原创 MiMo-VL Technical Report

模型介绍：小米开源了MiMo-VL-7B-SFT和MiMo-VL-7B-RL两个视觉语言模型，在通用视觉理解和多模态推理任务上表现出色。其中，MiMo-VL-7B-RL在40项评估任务中35项优于Qwen2.5-VL-7B，在OlympiadBench上得分59.4，超过参数达78B的模型，在GUI接地任务OSWorld-G上得分为56.1，甚至超越了UI-TARS等专业模型。训练方法四阶段预训练：消耗2.4万亿token，包括投影仪预热、视觉语言对齐、通用多模态预训练和长上下文监督微调。

2025-06-19 09:30:00 94

原创 Large Language Models Often Know When They Are Being Evaluated

一、主要内容研究背景与目的若大型语言模型（LLM）能检测到自身正在被评估，可能会系统性改变行为，导致评估结果不可靠（类似人类的“霍桑效应”），甚至引发“策略性表现”（如隐藏真实能力）。研究旨在验证前沿LLM是否具备“评估意识”（即区分评估场景与真实部署场景的能力），并构建基准测试其性能。方法与数据基准数据集：收集61个来源的1000条文本记录（对话/代理交互），平衡“评估/部署”和“聊天/代理”场景，覆盖MMLU、SWEBench等公共基准及真实部署数据。评估方式。

2025-06-19 08:30:00 77

原创 A Hybrid Multi-Agent Prompting Approach for Simplifying Complex Sentences

句子简化是计算语言学中的重要任务，目标是在保留原意的前提下将复杂句子转化为简单结构，在教育、无障碍内容、游戏设计等领域有重要应用。传统方法（规则系统、统计方法、神经网络）难以在简化同时保持语义等价，LLM单独使用时因简化策略多样易失效，微调也可能因训练集有限导致过拟合。复杂句子在动作导向场景（如机器人、游戏逻辑）中存在条件逻辑嵌套、时间依赖等挑战，需分解为可执行步骤。混合多智能体架构：将句子分解、评估、修订任务分配给专用智能体，通过协作提升简化质量，解决单智能体在复杂逻辑处理中的局限性。

2025-06-18 14:14:32 12

原创 SALE : Low-bit Estimation for Efficient Sparse Attention in Long-context LLM Prefilling

研究背景与问题：长上下文LLM应用中，自注意力模块在预填充阶段因二次时间复杂度成为瓶颈。现有稀疏注意力方法多采用粗粒度检查，导致模型精度显著损失。SALE方法核心三阶段处理流程：通过量化（4位查询-键乘积）、选择阶段（块稀疏注意力掩码构建）和计算阶段（仅计算重要块）实现高效稀疏注意力。相对注意力分数（Relative Attention Score）：基于“sink-local”区域（序列首尾）的注意力权重相对大小评估重要性，动态调整稀疏度。硬件优化。

2025-06-18 09:30:00 90

原创 Bootstrapping LLM Robustness for VLM Safety via Reducing the Pretraining Modality Gap

研究背景与问题：视觉语言模型（VLM）在部署时需确保输出安全，但其安全性较语言模型（LLM）骨干显著下降。即使是空白或无关图像，也可能触发VLM生成有害响应，这与图像和文本表示的“模态差距”有关。现有研究虽假设模态差距影响VLM安全性，但未明确其影响机制及程度。核心发现模态差距与VLM的不安全率呈强负相关，即模态差距越大，模型越容易生成有害响应。模态差距在预训练阶段形成，并在微调过程中持续存在，是导致VLM安全性下降的关键因素。方法：REGAP。

2025-06-18 08:30:00 95

原创 XGRAMMAR: FLEXIBLE AND EFFICIENT STRUCTURED GENERATION ENGINE FOR LARGE LANGUAGE MODELS

主要内容本文提出了XGrammar，一个针对大语言模型（LLM）的灵活高效结构化生成引擎，旨在解决上下文无关文法（CFG）在约束解码中效率低下的问题。词汇分类与缓存：将词汇分为上下文无关token（可预检查）和上下文相关token（运行时解释），构建自适应令牌掩码缓存，减少运行时检查开销。上下文扩展：通过预计算规则的扩展后缀，过滤无效的上下文相关令牌，进一步减少运行时处理量。持久化栈机制：设计高效的持久化执行栈，支持状态分支和回滚，加速上下文相关令牌的检查。与LLM推理引擎协同设计。

2025-06-17 09:30:00 274

原创 Causal-aware Large Language Models: Enhancing Decision-Making Through Learning, Adapting and Acting

大语言模型（LLMs）在决策领域展现出巨大潜力，但预训练模型存在推理能力不足、难以适应新环境的问题，严重制约了其在复杂现实任务中的应用。现有方法如强化学习（RL）单独使用或LLM辅助RL的方式，仍依赖token预测范式，缺乏结构化推理和快速适应性。大语言模型（LLMs）因其存储的海量知识，在决策领域展现出巨大潜力。然而，这些预训练模型往往缺乏推理能力，难以适应新环境，进一步阻碍了它们在复杂现实任务中的应用。

2025-06-17 08:30:00 443

原创 FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation

FABLE基准介绍：FABLE是首个针对大语言模型（LLMs）在程序文本中数据流推理能力的评估基准，改编自软件工程中的8种经典数据流分析方法（如到达定义、活跃变量分析、污染分析等），并将其应用于烹饪食谱、旅行路线和自动化计划三个真实世界领域。数据集构建从三个领域收集数据并处理为结构化表示，包括步骤依赖图和实体流图。包含2400个问答对，每个领域-分析组合有100个示例，覆盖不同复杂度和自动化水平的程序文本。实验评估。

2025-06-16 09:30:00 93

原创 Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning

大型语言模型（LLMs）在自然语言处理任务中表现出色，但存在事实性错误和知识更新困难等问题。检索增强生成（RAG）通过外部知识检索缓解这些问题，而结合知识图谱（KGs）的GraphRAG进一步支持多步推理和结构化知识访问。然而，此类系统的超参数优化（如分块大小、检索策略、提示模板等）尚未被系统研究。本文利用Cognee框架，在多跳问答基准上优化KG与LLM接口的超参数，探索性能提升的可能性及评估指标的局限性。将大型语言模型（LLMs）与知识图谱（KGs）集成会形成复杂系统，其众多超参数直接影响性能。

2025-06-16 08:30:00 85

原创 Can LLMs and humans be friends? Uncovering factors affecting human-AI intimacy formation

实验1（29名用户参与）：发现逐步加深的自我表露显著提升感知的社会亲密度，且不受人格相似性（用户与LLM的 persona 匹配度）的影响。普通LLM的正式语言风格和机械共情（如不加区分地同意用户观点）会破坏沉浸感，导致用户感知不真诚。实验2（53名用户参与，引入自我批评机制）：自我批评机制（self-criticism）通过优化响应的自然性（如使用口语化表达、校准共情），显著提升用户对LLM的初始亲密度感知，尤其在互动早期效果明显。过度共情可能引发不适，表明需平衡情感表达的丰富性与自然性。

2025-06-15 09:45:00 80

原创 S4-Driver: Scalable Self-Supervised Driving Multimodal Large Language Model with Spatio-Temporal

本文提出了一种基于多模态大语言模型（MLLM）的可扩展自监督自动驾驶运动规划框架S4-Driver，旨在解决端到端自动驾驶中依赖人工标注和3D空间推理能力不足的问题。稀疏体表示（Sparse Volume Representation）：将多视图、多帧图像的视觉信息聚合到3D空间，通过轻量级投影和门控机制动态选择关键区域，增强模型的3D时空推理能力，且无需微调预训练的视觉编码器。分层规划与元决策（Hierarchical Planning with Meta-Decision）

2025-06-15 08:30:00 119

原创 Intuitionistic Fuzzy Sets for Large Language Model Data Annotation: A Novel Approach to Side-by-Side

人类偏好数据的质量对于大语言模型（LLM）的训练和评估至关重要，尤其是在人类反馈强化学习（RLHF）和直接偏好优化（DPO）场景中。传统的并排（SBS）标注方法通常难以应对固有不确定性、标注者分歧以及偏好判断的复杂性。本文提出一种基于直觉模糊集（IFS）的新框架，用于LLM数据标注任务中的人类偏好建模和聚合。我们的方法不仅通过隶属度、非隶属度和犹豫度捕捉偏好程度，还捕捉人类判断中固有的不确定性和犹豫。

2025-06-14 09:45:00 80

原创 PhySense: Principle-Based Physics Reasoning Benchmarking for Large Language Models

大型语言模型（LLMs）发展迅速，日益能够解决包括物理学在内的复杂科学问题。尽管如此，当前LLMs往往无法模仿人类专家简洁、基于原理的推理特点，而是生成冗长且不透明的解决方案。这种差异凸显了它们在应用核心物理原理进行高效且可解释的问题解决方面的关键能力差距。为了系统地研究这一局限性，我们引入了PhySense，这是一个新颖的基于原理的物理推理基准。该基准设计为专家使用指导原理可轻松解决，但对于没有基于原理优先推理的LLMs来说却看似简单实则困难。

2025-06-14 08:30:00 124

原创 LLM Inference Enhanced by External Knowledge: A Survey

外部知识分类非结构化数据：包括文本、图像、音视频等，需通过NLP、计算机视觉等技术提取信息，虽丰富但存在预处理成本高、易引入噪声等问题。结构化数据表格：以行列形式组织数据，适用于事实验证、数值推理等任务，整合方法包括符号推理（如Text-to-SQL）、神经推理（如Chain-of-Table）和混合推理（如H-STAR）。知识图谱（KGs）：以三元组形式表示实体关系，支持多跳推理，整合策略分为松耦合（如CoK、RRA）和紧耦合（如ToG、PoG）。整合方法与性能对比表格整合。

2025-06-13 09:30:00 18

原创 MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

带可验证奖励的强化学习（RLVR）最近成为大型语言模型（LLMs）训练后的强大范式，在具有结构化、可验证答案的任务上实现了最先进的性能。将RLVR应用于多模态LLMs（MLLMs）带来了重大机遇，但视觉-语言任务的广泛性和异质性使其复杂化，这些任务需要细致的视觉、逻辑和空间能力。因此，使用RLVR在多个数据集上训练MLLMs可能是有益的，但不同数据集之间的交互会产生目标冲突，这凸显了需要最优数据集混合策略来提高泛化和推理能力。

2025-06-13 08:30:00 82

原创 LLM Weekly（2025.06.02-06.08）

小米的 LLM-Core 团队开源了 MiMo-VL-7B-SFT 和 MiMo-VL-7B-RL，这两款领先的视觉语言模型在视觉理解和多模态推理方面表现出色。通过比较模型对收入的影响，HyperWrite 确保其选择与业务目标一致，如 GPT-4.1 所示，它在匹配现有模型性能的同时降低了成本。通过协同定位这些进程，系统跳过了 HTTP 通信，支持张量并行和数据并行，并简化了部署，使其具有可扩展性且适用于大规模模型训练的生产环境，从而提高了效率。研究人员通过自我反思和强化学习增强了大型语言模型。

2025-06-12 14:18:32 102

原创 Adversarial Preference Learning for Robust LLM Alignment

本文提出了对抗偏好学习（APL）框架，旨在提升大型语言模型（LLMs）对抗对抗性攻击的鲁棒性。传统基于人类反馈的强化学习（RLHF）方法存在人工标注成本高、对抗攻击场景覆盖不足以及奖励偏差等问题。基于内在偏好概率的直接危害度量：无需外部评估系统，通过模型生成有害/安全响应的概率直接评估漏洞。条件生成攻击者：自动生成多样化的对抗性提示，覆盖更广的输入空间。迭代闭环反馈框架：攻击者与防御者通过迭代交互持续发现和修复漏洞。

2025-06-12 09:30:00 122

原创 SpatialPrompting: Keyframe-driven Zero-Shot Spatial Reasoning with Off-the-Shelf Multimodal LLM

本文提出了一种名为SpatialPrompting的全新框架，旨在借助现成的多模态大型语言模型（LLM）的推理能力，实现三维环境下的零样本空间推理。该框架的核心在于关键帧驱动的提示生成策略关键帧提取：从图像序列中挑选出具有代表性的关键帧。在这个过程中，综合运用视觉-语言相似性、马氏距离、视野（FOV）以及图像清晰度等多种指标，以确保所选关键帧既能涵盖丰富的空间信息，又能避免冗余。提示生成：将提取出的关键帧与对应的相机位姿数据相结合，形成结构化的提示输入到多模态LLM中。

2025-06-12 08:30:00 89

原创 Latte: Transfering LLMs’ Latent-level Knowledge for Few-shot Tabular Learning

本文聚焦于小样本表格学习（Few-shot Tabular Learning）难题，提出了Latte框架，借助大语言模型（LLMs）的潜在知识优化下游模型训练，有效缓解了小样本场景下的数据不足与过拟合问题。具体内容如下：问题背景Latte框架设计实验验证训练时潜在知识提取首次将LLMs作为“教师”，在训练阶段提取其隐层状态的潜在知识（非文本生成），避免文本级知识的幻觉问题，提升特征工程可靠性。语义感知与知识融合架构无监督预训练与元学习结合利用无标注数据生成伪标签进行元学习，为下游任务提供鲁棒的参数初始化

2025-06-11 10:30:00 78

C语言编程实例100题

空空如也