- 博客(942)
- 收藏
- 关注
RSS订阅原创 微调一个知乎风格大模型，有点上头~
大模型的微调其实并没有想象中的困难，仅仅采用 transformers 一个库（本人没用 trl）稍微对训练数据做点处理就已经足够了，关键的问题在于数据的质量和数量。如果一个数据集人眼看上去都不是特别容易学习的，那么大模型同样会学习困难。采用 LoRA 的话，尽量将 rank 设置大一些，因为总的来说参数量越多效果越好（深度学习并不是参数量越多越容易过拟合，而是相反）。
2025-05-06 20:15:17
620
原创 重磅！用 Gemini 2.5 搭载 Cohere Embed v4，视觉RAG 终于不用 Markdown 绕路了！
在多模态AI快速发展的今天，企业在数字化转型中面临着如何高效处理和理解复杂图像信息的挑战。传统的RAG（Retrieval-Augmented Generation）系统主要依赖于文本数据，对于包含图像、图表、幻灯片等视觉信息的文档处理能力有限，常常需要将图像转换为Markdown格式，导致信息丢失和处理效率低下。传统的RAG系统在处理包含图像的文档时，通常需要将图像转换为Markdown格式，以便进行文本检索和生成。
2025-05-06 20:13:01
442
原创 这才是多模态数据融合，组学啥的啥都能整一块，学到不少——生信进阶
近日，一项发表于《Nature Communications》的研究通过整合放射学、病理学、基因组学、转录组学和蛋白质组学等多模态数据，构建了多模态融合亚型（MOFS）框架，成功识别出三种具有不同预后和治疗机会的胶质瘤亚型，为胶质瘤的精准治疗提供了关键依据。胶质瘤是成人中最常见的原发性恶性中枢神经系统肿瘤，其中 IDH 野生型胶质母细胞瘤（GBM）最为普遍且侵袭性强，5 年生存率不足 10%。
2025-05-05 20:19:05
493
原创 RAG最佳实践：一篇让你不再迷茫的指南
重排序：monoT5综合表现最佳，TILDEv2适合快速实验摘要：Recomp碾压其他方案，但会牺牲些许延迟📌 我的私藏技巧：尝试“逆向重组”（Reverse Packing），把关键信息放在输入的开头或结尾——LLM更容易捕捉重点！
2025-05-05 20:18:01
740
原创 MedReason：通过知识图谱在大型语言模型中引导事实性医学推理步骤
MedReason是由美国加州大学圣克鲁斯分校、加拿大不列颠哥伦比亚大学等机构联合推出的一个医学推理数据集。该项目旨在通过知识图谱引导的方式，为大型语言模型（LLMs）生成高质量的医学推理步骤，从而提升其在医学领域的推理能力和准确性。
2025-05-04 10:45:00
773
原创 IF=9.7！柳叶刀发文宠儿：Meta分析！只要数据和框架搭的好，文章质量嘎嘎升！香港大学带给你最新模版～
今天给大家带来的这篇文章是香港大学李嘉诚医学院研究团队刚发表在柳叶刀子刊上的，是什么让它受到青睐的呢？峰哥来分析一下：1.数据量巨大：是到目前为止最大的跨血统之间的GWAS荟萃分析，样本量可是有8000+！这数据量谁看了不得说一句牛！还发现了新的关联位点，2.联合分析：通常我们看到的Meta分析都是制作分析，而本文综合了Meta分析+单细胞测序分析+湿实验验证，打破了传统Meta的框架，虽说这里的实验只能为了验证咱们的候选基因在ENS发育中的功能。单纯打了个辅助，但是依旧得分呀！
2025-05-03 10:45:00
805
原创 Qwen能吞下整本扫描版PDF，直接转Word了，这波操作太赞了！
本文章解决了一个大家普遍遇到的问题，就是如何将扫描的PDF书直接转为word，文中介绍了基于 Qwen2.5-VL-7B 多模态大模型，自动读取扫描版 PDF，具有如下特色：转化准确率高；哪怕一整本扫描的书也能轻松应对；文中全部代码和步骤都开源，确保大家可以复现。
2025-05-02 10:45:00
930
原创 从字节、百川、Bespoke Labs 3个大模型项目，看RL驱动下的Agent技术趋势
这三篇论文思路一致，内化工具调用，用最简单的奖励信号（只看最终结果对错）来驱动强化学习，让模型自己决定什么时候调用工具、调用哪个工具，以及怎样用工具返回的信息。这种方法不依赖于人工示范或精细的中间步骤奖励，反而更有效地避免了模型reward hacking的现象出现。Less is More for Reward Design，是目前的reward一大趋势，这样训练比较容易训练稳定，不容易被hack。但是单一的结果reward会变得太稀疏、太延迟，训练效率低，这也是目前的一些问题。
2025-05-01 10:45:00
579
原创 知识库+DeepSeek，3步赋能Word，创作效率提升10倍
登录ollama（https://ollama.com/），点击网页中间的“Download”弹出页面中继续点击“Download for Windows”下载完成后进行软件安装安装完成后，打开命令行输入ollama -v，如果返回版本号，表示安装成功。打开ollama deepseek下载地址（https://ollama.com/library/deepseek-r1），选择合适的安装版本。
2025-04-30 20:59:38
1003
原创 4大类AI Agent协议框架全面综述
代理协议是标准化框架，定义了代理之间以及代理与外部系统之间结构化通信的规则、格式和程序。与传统交互机制（如API、GUI或XML）相比，协议在效率、操作范围、标准化和AI原生性方面具有显著优势。
2025-04-29 20:31:29
685
原创 DeepMind发布阿尔伯塔计划：AI 迈向通用人工智能 (AGI) 的路线图
历史表明，达成坚定的研究共识的道路格外艰巨。— 托马斯·库恩，《科学革命的结构》在本文中，我们描述了我们的人工智能 （AI） 研究方法，我们称之为阿尔伯塔计划。阿尔伯塔计划是在我们在阿尔伯塔省的研究小组和世界各地志同道合的其他人中推行的。我们欢迎所有愿意加入我们的人。。它并非着眼于我们现有知识的直接应用，而是致力于填补我们现有理解的空白。随着计算智能逐渐被人们理解，它无疑将对我们的经济、社会和个人生活产生深远的影响。尽管所有后果都难以预见，而且每一项强大的技术都可能被滥用，但我们坚信，。
2025-04-28 20:46:02
655
原创 综述分享 | 人工智能在药物研发中的应用
总体而言，人工智能技术的持续突破正显著提升药物研发的效率和成本效益。但需清醒认识到，AI并非万能工具。其核心优势在于解析海量复杂数据并加速决策进程，本质上是对人类功能的延伸与能力增强，而非取代人类的创造性思维与专业权威。值得注意的是，AI设计的药物分子及预测结果仍需通过湿实验室验证，同时人类专家的战略指导仍是确定AI研究方向的关键。随着AI能力的迭代升级与技术进步（如近期开源的AlphaFold3），我们对其在加速药物研发和改善人类健康方面的潜力可持审慎乐观态度。
2025-04-28 20:44:59
726
原创 DeepSeek原理与落地应用手册
本报告主要介绍了DeepSeek-R1模型的创新优势、大模型工作原理，在落地应用中详细介绍了DeepSeek提示词应用，以及其在教育与学术赋能方面的场景应用。
2025-04-28 20:42:30
750
原创 Hugging Face论文热榜第一！AI推理新方法，打破强化学习天花板，全面开源
LUFFY 所开创的“边学边练”范式，为大模型推理能力的训练提供了一条兼顾效率与效果的新路径。通过桥接“模仿学习”和“强化学习”这两种思路，LUFFY 证明了离策略指导在提升模型高阶推理能力上的巨大潜力：模型可以突破自身的先天局限，吸收更强者的经验而又不失自我进化的空间。这一方法具有相当的通用性：未来，随着更强大的推理模型出现，我们完全可以将其作为“教师”融入 LUFFY 框架，不断提高“学生”模型的上限；同时，“边学边练”的理念也有望推广到数学之外的其它复杂推理领域，比如代码推理、科学问答等。
2025-04-27 11:30:01
319
原创 Function Calling已经过时 ，MCP才是真正的大模型接口标准
过去一个月，全球大模型圈最热的关键词，非MCP莫属。模型侧，从Claude到Open AI，从Llama到DeepSeek、通义；应用侧，从Figma到Unreal，从Milvus到高德地图，全球超过 8,000 个主流工具和软件支持MCP，适配 MCP Server已经成为行业标准动作；可以说，模型与工具对接标准的大一统时代已经呼之欲出；而借助MCP，
2025-04-26 10:45:00
1247
原创 TxGemma：高效多功能 AI 赋能药物研发
BoltzDesign1 提出了一种新的框架，通过反转 Boltz-1 全原子结构预测模型，实现了针对多种分子靶标的直接蛋白质结合剂设计。与以往方法不同，BoltzDesign1 无需模型微调或扩散反向传播。研究者利用距离分布图（原子间距离的概率分布）而非采样结构进行优化，显著降低了计算成本，同时保持了设计保真度并增强了结构多样性。
2025-04-25 21:02:38
1023
原创 MCP、Function Calling 有什么区别？与 AI Agent 有什么关系？
层级核心能力适用场景示例让模型能调用函数简单查询、单一工具查询天气、查询汇率MCP高效管理多个工具接入多工具、低上下文开销企业 CRM、邮箱、文档AI Agent自主规划 + 多步决策复杂任务、流程自动化自动旅行计划、自动化办公是基础能力MCP是系统总线，而 AI Agent 是智能大脑。三者并不对立，而是逐级递进、协同构建出强大的AI系统。未来的AI应用，可能会结合三者优势，实现“会思考、会调用、会执行”的智能体系统。
2025-04-25 21:01:03
936
原创 DrugAgent：基于多智能体的药物靶点相互作用预测
ATOMICA 是一种几何深度学习模型，它学习原子级表征，统一了蛋白质、核酸、小分子、离子和脂质等多种生物分子交互的框架。该模型利用超过 200 万个交互复合物进行自监督去噪训练，学习原子、化学块和界面层级的分层嵌入，并将其泛化到不同分子模态。ATOMICA 生成特定模态的交互组网络 (ATOMICANET)，基于交互界面的相似性连接蛋白质。这些网络揭示了共享的疾病通路，并有助于预测疾病相关蛋白。例如，它在基于脂质的网络中检测到与哮喘相关的钠通道，在基于离子的网络中检测到与白血病相关的锌指结构。
2025-04-24 11:26:47
707
原创 MDTeamGPT：一种基于大模型的自进化多学科团队医疗咨询多智能体框架 - 南大、南洋理工、CMU
大型语言模型（LLMs）已在各个领域取得了显著进展。然而，在多学科团队（MDT）医疗咨询中仍存在挑战。当前研究通过角色分配、任务分解和积累医学经验来提升推理能力。MDT咨询中的多角色合作往往导致过长的对话历史。这增加了模型的认知负担，并降低了效率和准确性。一些方法仅存储治疗历史。它们不提取有效经验或反思错误。这限制了知识的泛化和系统的进化。我们提出了一种基于LLMs的多智能体MDT医疗咨询框架来解决这些问题。我们的框架采用共识聚合和残差讨论结构进行多轮咨询。
2025-04-24 11:24:39
429
原创 再看大模型幻觉排行、检测工具及多模态RAG技术范式总结
多模态RAG我们已经讲过很多了，综合来看，其核心问题有多个，即：如何有效地解析和索引多模态文档，如何实现多模态检索，如何在生成过程中整合多模态数据，以及如何评估和改进MRAG系统的性能。而截止到目前，围绕多模态RAG，已经出现了多个RAG综述，列举截止目前的4个多模态RAG综述。1、《A Survey of Multimodal Retrieval-Augmented Generation》，https://arxiv.org/pdf/2504.08748，这个最早，核心可以看看起提出了三个版本的多模态RA
2025-04-24 11:23:56
814
原创 一文搞懂MCP理论+详细代码实践（基于DeepSeek模型）
MCP是Anthropic于2024年11月发布的协议，最全面的介绍莫过于MCP官网的全部内容，以及MCP的源代码可以帮助理解，但这些内容过多，这里抽取核心内容再加上自己理解整理。
2025-04-23 20:30:47
1086
原创 告别粗暴切分：入门 RAG 文本分块，从策略到优化
检索增强生成（RAG）的性能在很大程度上取决于其检索模块的质量，而文本分块（Chunking）是决定检索质量的关键前置步骤。粗暴或不恰当的分块会导致信息丢失、上下文割裂、检索效率低下等问题，严重影响 RAG 系统的最终表现。本文系统性地探讨了文本分块的核心目标与挑战，从克服上下文窗口限制、提高检索精度、维护上下文完整性等角度阐述了其重要性。接着，详细介绍了固定大小、基于句子、递归字符、基于文档结构等基础分块策略，并给出了结合 Markdown 文档结构的混合分块策略的 Python 实现。
2025-04-23 20:29:25
908
原创 检索增强生成（RAG）深度教程
有意过度检索**，即取一个相对较大的topk（比如top 50-100），然后让重排序模型来过滤掉其中不相关的内容。通过引入重排序，RAG系统可以显著提高提供给LLM的上下文质量，减少无关或次要信息对生成答案的干扰。
2025-04-22 20:07:46
1015
原创 一种完全开源的多模态大模型:Open-Qwen2VL
通过实验证明，基于高效多模态大模型（MLLM）的高质量数据过滤技术和精心设计的数据混合策略，能够在计算资源有限的条件下实现高效预训练，从而开发出具有竞争力的多模态大模型。通过采用多模态序列打包技术和基于平均池化层的动态图像标记数调整，进一步提升了预训练效率。最终开发的Open - Qwen2VL模型在多个多模态基准测试中超越了部分开源的Qwen2 - VL - 2B模型，而其预训练令牌仅为Qwen2VL的0.36%。
2025-04-22 20:06:39
767
原创 FinSeer：首个股票预测 RAG 框架，准确率提高了8%
本文提出首个专为金融时间序列预测设计的检索增强生成（RAG）框架。框架包含三大创新：以1B大语言模型（StockLLM）为基础；通过LLM反馈增强的新候选选择方法；最大化查询与历史重要序列相似性的训练目标。FinSeer能够有效识别金融数据中的有意义模式，减少噪声。构建新数据集，整合金融指标与历史股价以支持评估。实验结果显示，RAG框架在BIGDATA22基准上比基线StockLLM和随机检索方法提高8%准确率，检索到更具影响力的序列。强调定制检索模型在金融预测中的重要性，为未来研究提供新框架。
2025-04-22 20:05:50
680
原创 如何用go搭建MCP服务
是一种让 AI 模型能够无缝连接到外部工具和数据源的标准化方式。想象它就像 AI 的“万能接口”，能让 AI 像用 USB 线连接设备一样，轻松调用其他程序或服务。
2025-04-21 20:28:35
665
原创 使用SpringAI实现MCP服务并与Qwen集成使用
MCP（Model Context Protocol，模型上下文协议）是一种开放协议，旨在实现 大型语言模型（LLM） 应用与外部数据源、工具和服务之间的无缝集成，类似于网络中的 HTTP 协议或邮件中的 SMTP 协议。MCP 协议通过标准化模型与外部资源的交互方式，提升 LLM 应用的功能性、灵活性和可扩展性。
2025-04-21 20:26:55
970
原创 多模态AI模型再添猛将！Liquid：字节最新开源的多模态LLM，视觉与语言统一生成！
Liquid = 一个模型通吃图像理解 + 图像生成 + 文本生成！它正在代表一种新趋势：模态打通、结构简化、能力统一。如果你对多模态 LLM、视觉问答、图文生成感兴趣，Liquid 将是不可错过的开源标杆项目！
2025-04-21 20:25:12
861
原创 大语言模型的智能体优化全面综述：背景、有参优化、无参优化、数据基准、应用、挑战
随着大语言模型（LLMs）的迅速发展，基于大语言模型的智能体已在各个领域得到广泛应用，成为自主决策和交互任务的关键。然而，目前的工作通常依赖于对基础大语言模型应用提示设计或微调策略，这在复杂的智能体相关环境中往往导致效果有限或性能欠佳。尽管大语言模型优化技术可以提升模型在许多通用任务上的表现，但它们缺乏针对智能体关键功能（如长期规划、动态环境交互和复杂决策）的专门优化。
2025-04-20 10:45:00
633
原创 PandaAI：一个基于AI的对话式数据分析工具
PandaAI 是一个基于 Python 开发的自然语言处理和数据分析工具，支持问答式（ChatGPT）的数据分析和报告生成功能。PandaAI 提供了一个开源的框架，主要核心组件包含用于数据处理的数据准备层（Pandas）以及实现 Text2SQL 功能的自然语言接口。
2025-04-18 21:57:46
1054
原创 Cursor+MCP实现用嘴操纵数据库，太丝滑了！
通过 MCP，我让 Cursor 直接操作起了我本地的数据库。无论是数据查询，还是数据的增删改，他都无所不能。。说实话，像 DeepSeek 啊、豆包啊或者 claude 之类的大模型再牛逼，当你问他，我本地数据库里面有多少条数据，他就会显得有些爱莫能助。因为他的训练集不可能会包含你的隐私数据。这也导致了大模型在个人或企业隐私数据的瓶颈。以前，很多人直接搞个本地的大模型，然后将隐私数据投喂给大模型，来训练私有化大模型。这是常见的做法，先不说私有化部署的成本，光是微调训练的过程就不是普通人能搞定的。
2025-04-17 20:57:31
1368
原创 三步让Dify工作流秒变智能插件！MCP Server插件实操指南
通过MCP协议，我们大大简化了AI Agent编写的门槛，原来很多工作流实现的复杂操作，通过一个dify Agent+提示词+各种MCP工具，就可以把Agent培养成一个超级助手。那么，我们这样，我们本地实现的这些工作流及其能力，无需进行二次开发，可以被高效复用到别的MCP Client工具和应用场景里。今天就让我们一起来看看如何实现。（不过需要注意的是，为避免潜在的数据安全风险，官方也仅建议做私有网络环境中使用MCP Server插件）在开始前，请确保：• 已部署Dify实例。
2025-04-17 20:55:31
1299
原创 KVShare革新LLM推理！语义对齐驱动缓存命中率飙升60%，GPU能耗锐减
作者提出了KVShare方法。如图所示，该方法首先检查用户的实际请求，选择几个最相似的请求，通过基于DELTA Tree和编辑操作的运算确定最相似的请求，然后选择最相似请求的KV Cache进行计算。为确保结果的正确性，KVShare提出了KV Editor机制。通过向KV Cache添加占位符张量，将最相似请求的KV Cache语义与实际用户请求对齐。最后，通过PartialAttention的计算获得正确的LLM输出。
2025-04-17 20:53:11
312
原创 SuperRAG， 百川也开源了
强化学习用于RAG 检索增强推理六小虎-百川 开源 ReSearch，一个 RL 框架，从零开始教 LLMs 使用搜索进行推理。简单概括，ReSearch框架，它不是教AI怎么思考或怎么搜索，而是让AI自己学会何时该搜索、搜什么、如何利用搜索结果继续推理。整体没有太大新的地方，先思考问题 -> 决定需要查询什么 -> 获取搜索结果 -> 基于搜索结果继续思考或调整查询方向reward 规则如下，训练数据使用musique，一个为多跳问答设计的19938个样本。grpo训练。所以，就这？嗯， 就这。
2025-04-17 20:51:33
752
原创 文本向量化与语义保留：Embedding技术的核心原理与实现路径
Embedding（嵌入）是一种将离散符号（如单词、句子）映射到连续低维向量空间的技术，其核心目标是通过数学建模捕捉文本的语义信息。传统文本处理方法（如One-Hot编码）仅以二进制形式表示文本，导致高维稀疏且缺乏语义关联。向量空间模型与分布式表示*Embedding基于向量空间模型（Vector Space Model, VSM），将文本映射到几何空间中。每个词被表示为该空间中的一个点，其坐标由语义特征决定。语义保留的数学机制*文本预处理与词嵌入*上下文建模与聚合方法*典型模型对比*
2025-04-16 20:34:15
847
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人