- 博客(531)
- 收藏
- 关注
RSS订阅原创 大模型入门指南 - Quantization：小白也能看懂的“模型量化”全解析
模型量化是一种****参数压缩与加速技术****，其核心逻辑是将模型中的****高精度浮点数（如32位浮点数 FP32）****转换为****低精度整数（如8位整数 INT8 或4位整数 INT4）****，从而减少存储空间、提升推理速度并降低硬件能耗。***模型*量化*的本质*是通过***数学映射***，在***精度损失可控***的前提下，*将模型参数从“高精度”转换为“低精度”*，实现***性能与效率的平衡*****1. 确定量化范围**min=-1.2max=5.6。
2025-05-08 13:37:26
454
原创 AgentClinic：模拟临床医疗环境的多模态大模型智能体评估基准
在临床场景中评估大型语言模型（LLM）对于评估其潜在的临床效用至关重要。现有的基准测试主要依赖于静态问答，这不能准确描述临床决策的复杂性和顺序性。在这里，我们介绍AgentClinic，一个用于评估模拟临床环境中LLM的多模态代理基准测试，其中包括患者互动、在不完整信息下进行的多模态数据收集，以及各种工具的使用，从而在九个医学专业和七种语言中进行深入评估。我们发现，在AgentClinic的顺序决策格式中解决MedQA问题要困难得多，导致诊断准确率可能降至原始准确率的十分之一以下。
2025-05-08 11:22:39
228
原创 大模型监督微调SFT—实战技巧和debug思路
除此之外，训练目的也不一样。pretrain 是在背书，纯粹的学习知识；sft 则是在做题，学习的是指令 follow 能力。切勿在 sft 阶段强行给模型做知识注入，比如训个 50W 条的 code 数据，所有的知识注入工作应该采用 continue-pretrain 的思路进行，否则都会使得模型的通用能力掉点明显（SFT 做知识注入基本上是 100% 某个知识，但 continue-pretrain 做知识注入会控制在 10% ～ 20% 左右的比例）。
2025-05-06 11:36:51
723
原创 从零开始的DeepSeek微调训练实战（SFT）
前言本文重点介绍使用微调框架unsloth，围绕DeepSeek R1 Distill 7B模型进行高效微调，并介绍用于推理大模型高效微调的COT数据集的创建和使用方法，并在一个medical-o1-reasoning-SFT数据集上完成高效微调实战，并最终达到问答风格优化&知识灌注目的。你能收获什么：亲手完成DeepSeek R1蒸馏模型的微调实战对模型微调、推理数据集等知识有一定了解对大模型运行的机制和原理有一定的了解有机会制作一个属于自己的定制化大模型。
2025-05-06 11:35:07
1190
原创 HyperGraphRAG：基于超图结构知识表示的新版GraphRAG - 北邮、安贞医院等
标准的基于块检索增强生成（RAG）方法将知识表示为图以利用实体间的关系，而GraphRAG结构则利用图来表示知识。然而，以往的GraphRAG方法受限于二元关系：图中的一条边仅连接两个实体，这无法很好地模拟现实中广泛存在的多个实体之间的n元关系。为了解决这一限制，我们提出了HyperGraphRAG，一种基于超图的新型RAG方法，通过超边表示n元关系事实，模拟现实世界中的复杂n元关系。为了在超图上检索和生成，我们引入了一个完整的流程，包括超图构建方法、超图检索策略以及超图引导的生成机制。
2025-04-18 11:16:57
1088
原创 文档分割模块优化策略梳理
RAG 在回答问题时经常遇到许多挑战。这篇博客中，将深入探讨提升 RAG 性能的解决方案，提升RAG效果。选择合适的 chunk_size 是一个关键决策，可以从多个方面影响 RAG 系统的效率和准确性：相较小的 chunk_size，如 128，会产生更细粒度的块。然而，这种粒度存在风险：如果 similarity_top_k 设置像 2 这样严格，重要信息可能不会出现在检索到的顶部块中。相反，512 的块大小可能会在顶部块中包含所有必要的信息，确保查询的答案随时可用。
2025-04-15 12:01:30
972
原创 【Dify+deepseek+MCP】从入门到精通，手把手教你效率开挂（三）
经过前两期的铺垫，今天我们开始正式进入MCP的实战——。\1. “怎么让dify具备MCP客户端和服务器的能力？\2. “如何配置外部MCP服务？”如高德地图，Zapier服务\3. “怎么零代码搭建MCP智能体？在Dify社区里，开发者们在插件市场大展身手，精心打造出多款超实用的 MCP插件，让 Dify 拥有了神奇的 “智能连接魔杖”。通过插件能力，轻轻松松就能把外部强大的 MCP 服务，无缝接入到自己的 Agent 应用或工作流中，给 AI 助手装上超级外挂！
2025-04-12 11:10:32
2724
原创 谷歌 Agent2Agent 协议来了！但它不是另一个 MCP
A2A 和 MCP 并不冲突，反而可以很好地结合使用。想象一个复杂的场景：用户的个人助理 Agent (Client Agent) 接到指令要完成一份市场研究报告。但是呢，这个助理 Agent 能力有限，于是它通过。
2025-04-12 11:09:33
736
原创 刚刚，商汤发布第六代大模型：6000亿参数多模态MoE，中长视频直接可推理
不得了。现在的国产AI应用，一口气看的视频，都可以直接做和了！瞧~只需“喂”上一段，AI就摇身一变成“名侦探”做剖析：它会对整个视频的内容先做一个总结，再按照，对视频片段做内容上的推演。如果再给这个AI“喂”上一段，它又会秒变成一位资深解说员：这一次，在视频总结和视频要点之后，我们继续提出要求：请帮我剪辑视频中的片段，包含任意由客户指定的场景，提取相关片段，标明时间范围，并为每个片段配上解说文案，用户场景为：进球时刻。
2025-04-11 11:57:08
928
原创 什么是RAG？大模型和RAG有什么关系？
在讲RAG之前，我们先说一个大模型的普遍现象，大家应该都用过大模型了，比如 ChatGPT、DeepSeek、豆包、文心一言等等…那么大家在用的时候其实会发现，有时候大模型会乱回答，
2025-04-10 11:33:41
689
原创 Qwen2.5-Omni 大模型部署保姆级教程：环境搭建与模型下载篇
本篇文章围绕Qwen2.5-Omni大模型部署的前期准备工作，详细介绍了环境搭建和模型下载准备的各个环节。通过提供具体的步骤说明、安装命令以及可能遇到问题的解决方案，顺利完成环境搭建和模型下载。在后续的文章中，将继续深入探讨Qwen2.5-Omni大模型的推理和微调实践，为读者呈现更加丰富的技术内容，敬请期待。
2025-04-09 11:53:32
1284
原创 吴恩达&open AI联合推出《大模型通关指南》免费pdf分享，手把手教你掌握大模型技术！
LLM（Large Language Models）正在逐步改变人们的生活，对于开发者来说，如何利用LLM提供的API快速、便捷地开发具备更强大能力、集成LLM的应用程序，以实现更新颖、更实用的功能，是一项急需学习的重要技能。吴恩达老师与OpenAI合作推出的大模型系列教程，从大模型时代开发者的基础技能出发，深入浅出地介绍了如何基于大模型API和LangChain架构快速开发结合大模型强大能力的应用。
2025-04-09 11:36:10
1484
原创 医学知识图谱驱动的GraphRAG：Deepseek-R1与Weaviate用于高级Chatbot
大型语言模型（LLMs）显著推进了自然语言生成领域。然而，它们经常生成未经核实的输出，这影响了其在关键应用中的可靠性。在本研究中，我们提出了一个创新框架，通过检索增强生成技术将结构化的生物医学知识与LLMs相结合。我们的系统通过识别和精炼与年龄相关性黄斑变性（AMD）相关的医学摘要中的因果关系及命名实体来开发一个全面的知识图谱。利用基于向量的检索流程和本地部署的语言模型，我们的框架生成的回应既具有上下文相关性又可核实，并直接参考临床证据。
2025-04-08 20:56:42
941
原创 大模型｜微软Copilot推出AI代理自动执行任务
Genspark超级AI代理实测评估硅谷创业公司MainFunc推出的Genspark Super AI Agent引发行业关注，该产品宣称具备80+工具调用与复杂任务处理能力。实测显示：在生成哲学导读手册时表现优异，能智能搜索并输出格式规范的HTML内容；但在古典音乐播客制作中，错误使用AI作曲替代真实曲目片段，暴露音频合成短板；华为产品PPT案例虽展现端到端工作流，却存在格式混乱与内容偏颇问题；编程测试更暴露工具衔接生硬、环境适配差等缺陷。
2025-04-08 20:55:28
863
原创 LLama4震撼发布：288B、原生多模态、超越 GPT-4.5、Claude 3.7 、Gemini 2.0 Pro
随着越来越多的人使用人工智能来提升日常生活，我们认为领先的模型和系统应该是公开可用的，以便每个人都能构建个性化的未来体验。今天，我们很高兴宣布支持整个 Llama 生态系统的最先进模型套件。我们推出了 Llama 4 Scout 和 Llama 4 Maverick，这是首批使用专家混合（MoE）架构的开源多模态模型。我们还预览了 Llama 4 Behemoth，这是世界上最智能的大型语言模型之一，也是我们迄今为止最强大的模型，它将作为新模型的“教师”。
2025-04-07 11:31:39
1133
原创 Stardog-基于知识图谱的企业级人机协同Agent智能体
以大型语言模型（LLM）为核心的智能代理需要通过知识图谱和本体获取民主化且高质量的企业数据，才能像人类一样有效且可靠地工作。然而，人类具备不可替代的责任感，这点机器无法企及。
2025-04-07 10:43:11
1153
原创 10分钟打造专属AI助手！选对云电脑，让你的 AI 部署更丝滑，推理更流畅，开发体验大幅提升！
DeepSeek聚焦于大语言模型（LLM）和多模态技术的研发，旨在通过前沿的AI技术解决复杂场景下的智能交互、知识推理与决策优化问题，赋能企业数字化转型与行业智能化升级。对比几家云电脑，个人体验如何？云电脑预装 AI 环境硬件配置远程流畅度价格其他 AI 应用ToDesk4090云AIGC低延迟，接近本地按小时计费，透明合理支持AI绘图、写实等AIGC 模型海马云4090 级别显卡丢包频繁，推理速度一般计费复杂，不易控制支持部分常用AI工具顺网云仅有 DeepSeek 初级版本。
2025-04-02 10:14:57
508
1
原创 DeepSeek微调入门教程，DeepSeek微调看完这一篇就够了！基于MS-Swift框架部署/推理/微调实践大全
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
2025-04-02 10:10:14
1180
1
原创 抖音电商用「扣子Coze」打造AI客服，效率提升300%！这套方案你也能复制！
技术终将回归服务本质”——抖音电商的实践证明，AI客服不仅能降本增效，还能通过精准推荐、情绪共鸣提升用户体验。上Coze平台，用AI重构你的客服体系吧！
2025-04-01 10:27:23
1146
原创 Trae 国内版使用文档全攻略，开发者的高效助手 | Trae的入门，就这一篇就够了
Trae 国内版从你下载安装的那一刻起，Trae 国内版就展现出它的与众不同。简洁直观的界面，让你一见倾心。而它的强大功能，更是让人惊叹不已。Trae的入门，就这一篇就够了。首先，前往 Trae 官网（https://www.trae.com.cn/），将 Trae 下载安装至电脑。Trae 首次启动时，你会进入以下页面。点击按钮。Trae 初始配置流程开始选择主题。可选项为和和。若你的电脑中已安装并配置 VS Code 或 Cursor，你可以点击或按钮。
2025-04-01 10:25:05
1575
原创 人形机器人大脑：具身智能--行业全解析（附核心标的）
具身智能，英文Embodied AI，简称EAI, 依靠物理实体（如机器人、自动驾驶车辆等）与环境交互来实现智能增长的智能系统。在智能体与环境的交互过程中，通过感知、控制和自主学习来积累知识和技能，形成智能并影响物理世界的能力。其核心在于将感知、决策和执行紧密结合，主要挑战在于硬件性能、算法泛化能力与系统集成水平。
2025-03-27 11:50:15
726
原创 蚂蚁华为阿里云罕见联手：AI医疗如何跨过落地鸿沟？_阿里 医疗大模型
DeepSeek之后，大模型下半场的走向如何？蚂蚁华为阿里云已做出选择：携手近百家企业联手组局，将探索的航道驶向医疗新大陆。。如今，医疗机构想要快速、安全、稳定实现大模型落地，只需一键接入蚂蚁医疗大模型一体机设备，。同时还定制化配置成熟应用，直接给医院业务系统、医疗诊断、患者服务大升级。浙江省人民医院、北京市中医院、上海仁济医院等7家机构已成为首批接入合作的医疗机构。比如，。不止如此，蚂蚁与浙江卫健委合作的AI健康应用“安诊儿”已覆盖超1000家公立医院，这一方案也正应用于湖南、上海等地。
2025-03-27 11:41:43
421
原创 Windows 部署 DeepSeek 本地 RAG 保姆教程：低配秒变AI工作站，断网也能稳如老狗！
RAG（Retrieval-Augmented Generation）是一种结合检索技术与生成模型的自然语言处理方法，通过引入外部知识库提升系统回复的准确性与信息量。
2025-03-18 11:08:09
1186
原创 RAGFlow框架优化经验分享（附代码）：图文识别+动态分块 、API调优+源码修改
不使用RAGFlow 的自动分块，而是手动控制分块，使用chunk_method="one"将整个文档作为一个块导入，然后使用自定义逻辑创建更细粒度的分块。这种做法无疑可以实现最精细的控制、保留文档完整性，当然缺点就是实现上会相对麻烦。
2025-03-18 10:52:47
1281
原创 开源！支持私有化部署的DeepSeek支持的搜索问答知识系统
据悉，45%央企已经私有化部署DeepSeek目前中国大型央国企私有化部署DeepSeek热情高涨，大量企业需求的机会，这种可以商业化的开源软件，先部署起来！中小IT企业为大型企业部署DeepSeek，难得的机会支持私有化部署的DeepSeek支持的搜索问答知识系统源代码DeepSeek让企业内部的知识管理上了一个大台阶这是一次技术变革，我们判断：大模型第一个杀手级的应用就是企业内部管理系统。
2025-03-17 21:30:21
1208
原创 从自我进化视角出发，全面解析LLM的推理能力技术演进路径
论文标题：A Survey on LLM Complex Reasoning through the Lens of Self-Evolution仓库链接：https://github.com/cs-holder/Reasoning-Self-Evolution-Survey在人工智能领域，大型语言模型的复杂推理研究正成为学术界和工业界关注的焦点。随着 OpenAI 的 O1 以及后续 DeepSeek R1 等突破性成果的发布，这一领域的研究热度持续升温，引发了广泛的学术讨论和实践探索。
2025-03-17 21:27:05
882
原创 【深度学习】DeepSeek核心架构-MLA：剖析低秩联合压缩优化KV缓存、提升推理效率的技术细节
DeepSeek的基本架构仍然在Transformer框架内，每个Transformer模块由一个注意力模块和一个前馈网络组成。为实现更高效的推理和更经济的训练，在注意力和前馈网络部分，设计并使用了创新的MLA（Multi-Head Latent Attention）和DeepSeekMoE 架构。本文将从MLA的提出背景、技术原理、解耦RoPE策略及MHA与MLA的缓存对比方面进行详细阐述。！！
2025-03-14 10:55:03
410
原创 大模型实战—大模型情感分析
简而言之，情感分析（也称为意见挖掘或情绪AI）指的是识别和提取文本数据中的情绪或情感的过程。它能帮助我们洞察人们对特定话题、产品、服务、事件或人物的感受。情感分析可以根据任务的细致程度和复杂性分为不同级别，包括：文档级情感分析：分析整篇文档或文本的整体情绪。例如，通过一篇产品评论，我们可以判断评论者是喜欢还是不喜欢该产品。句子级情感分析：分析文档或文本中每个句子的情感。例如，通过一篇新闻文章，我们可以识别出表达积极、消极或中立情绪的句子。方面级情感分析：分析文档或文本中特定方面或特征的情感。
2025-03-14 10:34:22
469
原创 DeepSeek接入Manus，开发速度飞快，确实可以封神了！
近几天有读者问我Manus，比如Manus是比DeepSeek更好的AI吗？Manus到底有技术突破吗？今天这篇文章解答下大家普遍关心的Manus问题，会以一个生动的例子帮助大家更好理解。1 Manus与DeepSeek的关系Manus首先是一个Agent，Agent是智能体，最早在强化学习中也这么叫，它能感知环境，并根据环境的变化做出智能的决策。近两年随着AI大模型发展，如DeepSeek-R1，当Agent接入AI大模型后，让其有了更聪明的大脑。于是，就有了Manus。
2025-03-13 10:50:16
1063
原创 一文搞懂Transformer入门基础之注意力机制！超详细！
2017年，Google在论文《Attention is All You Need》中提出了Transformer模型，并成功应用到NLP领域。该模型的核心创新在于其完全依赖自注意力机制（self-attention）来计算输入和输出的表示，而不再使用传统的序列对齐递归神经网络（RNNs）或卷积操作（convolutions）。本文笔者从基础知识开始逐步深入，详细总结了注意力机制的原理，与大家分享~
2025-03-13 10:46:28
924
原创 报告 | 比清华版更全面、更落地！《DeepSeek企业落地应用讲义精华全版258页》（附下载
在当今数智化浪潮席卷全球的时代，人工智能（AI）已成为推动企业转型升级的关键力量。然而，对于众多企业来说，如何将AI技术真正落地应用，实现降本增效、创新发展，依然是一个亟待解决的难题。为此，大任智库AI应用创新团队研发了一本堪称AI应用领域的“宝典”——**与一些理论性强但缺乏实践指导的教材不同，大任智库版的讲义紧密结合企业实际痛点。比如在企业办公应用部分，详细阐述了AI如何助力企业员工提升工作效率、如何重新定义岗位价值，让企业切实感受到AI带来的巨大变革。
2025-03-12 11:40:46
898
原创 漫画图解：一口气搞懂大模型的10个核心概念
朋友们都2025年了还有很多人弄不清大模型里的一些基础概念到底什么是蒸馏什么预训练什么是token？今天指北决定做一期用动画《哪吒之魔童闹海》来一口气搞懂这些概念！——基座模型：哪吒的原始魔丸之力魔丸是天生的混沌能量，强大但难以控制，如同。它是哪吒能力的核心来源，类似基座模型通过预训练学习通用语言理解能力，但需要被“驯化”才能安全应用。智能体：乾坤圈限制下的哪吒 + 太乙真人的法宝，并借助混天绫、火尖枪等法宝（对应外部工具/API）实现具体目标（如降妖、救人）。
2025-03-12 11:37:25
737
原创 从零开始优化 RAG 流程的终极指南，解决检索增强生成的核心挑战
本文讨论了优化 RAG 管道各个部分并增强整体 RAG 性能的各种技术。你可以在 RAG 管道中使用其中一种或多种技术，使其更加准确和高效。希望这些技术能够帮助你为你的应用程序构建一个更强大的 RAG 管道。参考资料：https://luv-bansal.medium.com/advance-rag-improve-rag-performance-208ffad5bb6a。
2025-03-10 22:04:53
1153
原创 万亿赛道！AI 大模型典型应用深度分析。零基础入门到精通，看这篇就够了！赶紧收藏！
大模型由于其强大的自然语言与多模态信息处理能力，可以应对不同语义粒度下的任务,进行复杂的逻辑推理，还具有超强的迁移学习和少样本学习能力, 可以快速掌握新的任务, 实现对不同领域、不同数据模式的适配，这些特点使得大模型较容易的赋能其他行业，提升行业效率。如在信息检索领域，大模型可以从用户的问句中提取出真正的查询意图,检索出更符合用户意图的结果，还可以改写查询语句从而检索到更为相关的结果；在新闻媒体领域，大模型可以根据数据生成标题、摘要、正文等,实现自动化新闻撰写。
2025-03-10 22:01:41
1783
原创 QwQ-32B 测评和使用教程来了！
昨天凌晨，阿里开源了全新的推理模型：QwQ-32B。据官方发布消息，该模型性能比肩满血版 DeepSeek-R1（671B）！可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。看到了这些消息后，我就开始上手深度测试。QwQ-32B开源链接：魔搭开源链接：https://modelscope.cn/models/Qwen/QwQ-32B。
2025-03-08 14:05:12
2448
原创 阿里推理模型一战封神！32B硬刚671B DeepSeek，1/10成本，苹果笔记本可跑
起猛了，Qwen发布最新32B推理模型，跑分不输671B的满血版DeepSeek R1。都是杭州团队，要不要这么卷。QwQ-32B，基于Qwen2.5-32B+强化学习炼成。之后还将与Agent相关的功能集成到推理模型中：可以在调用工具的同时进行进行批判性思考，并根据环境反馈调整其思考过程。QwQ-32B的权重以Apache 2.0 许可证开源，并且可以通过Qwen Chat在线体验。手快的网友直接就是一个本地部署在m4max芯片苹果笔记本上。
2025-03-08 11:32:11
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人