
总结
文章平均质量分 52
总结
Open-source-AI
前沿算法探索,躺坑踩雷记录,测试记录,心得分享……
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
CICD可持续性开发和部署详解
持续集成(Continuous Integration, CI)和持续部署(Continuous Deployment, CD)是现代软件开发中的核心实践方法,旨在通过自动化流程提高软件交付的速度和质量。原创 2025-05-28 09:26:08 · 1298 阅读 · 0 评论 -
自然语言处理:模型表征与特征抽取
指自然语言处理模型对语言信息的数学表达形式,包括:指从原始文本中提取有区分度的语言特征的过程,主要方式:情感分析任务中的技术实现差异:实验表明,现代预训练模型通过端到端的表征学习,在特征抽取环节实现了:原创 2025-05-28 09:24:33 · 817 阅读 · 0 评论 -
transformer中编码器注意力机制(multihead selfattention )和 解码器注意力机制(masked multihead selfattention)的区别是什么
Transformer模型中的Multihead Self-Attention和Masked Multihead Self-Attention是其核心组件,主要区别在于信息可见性和应用场景。Multihead Self-Attention允许双向信息流动,适合捕捉全局依赖关系,常用于编码器或非自回归任务的解码器。而Masked Multihead Self-Attention通过因果掩码限制信息流,仅允许关注过去和当前信息,适合自回归生成任务,如GPT的文本生成。两者在训练和推理效率、信息流限制等方面也有显原创 2025-05-14 16:07:16 · 432 阅读 · 0 评论 -
快速盘点常见的RAG框架(2025.05.09)
本文介绍了三类RAG(检索增强生成)框架:技术架构类、开源工具类和其他热门框架。技术架构类包括传统RAG、Agentic RAG、Graph RAG、Adaptive RAG和Corrective RAG,分别适用于不同复杂度的任务场景。开源工具类如LangChain、QAnything、RAGFlow、Dify和LlamaIndex,提供了模块化设计、多格式支持、深度文档解析和低代码可视化等特性,适合企业级应用和快速开发。其他热门框架如FastGPT、Haystack和Milvus,则专注于知识库系统、模原创 2025-05-09 15:48:10 · 443 阅读 · 0 评论 -
vllm的技术核心、安装流程和使用教程,以及注意事项
vLLM技术通过PagedAttention内存管理、Continuous Batching连续批处理和分布式推理优化,显著提升了大规模语言模型的推理效率和资源利用率。PagedAttention采用分页思想管理KV缓存,提升内存利用率2-4倍;Continuous Batching动态调整批次大小,提升GPU利用率3倍;分布式推理通过张量并行和流水线并行优化多GPU负载均衡。安装流程包括环境准备、标准安装或Docker部署,推荐使用NVIDIA A100/A800等高性能硬件。使用教程涵盖离线推理、API原创 2025-05-09 10:56:27 · 773 阅读 · 0 评论 -
DeepSeek-R1模型蒸馏
DeepSeek-R1蒸馏模型是一种通过知识迁移技术,将大型教师模型(如671B参数的DeepSeek-R1)的推理能力压缩到更小规模学生模型中的方法。其核心目标是在保持高精度的前提下,降低计算资源消耗,实现模型在消费级硬件上的部署。原创 2025-05-02 22:26:06 · 1139 阅读 · 0 评论 -
BERT+CRF模型在命名实体识别(NER)任务中的应用
命名实体识别(Named Entity Recognition, NER)是自然语言处理中的一项基础性任务,旨在从非结构化文本中识别出具有特定意义的实体,并将其分类到预定义的类别中(如人名、地名、组织机构名等)。NER任务的典型应用场景包括:传统的NER方法主要基于规则和统计机器学习,而近年来深度学习尤其是预训练语言模型(BERT)与条件随机场(CRF)的结合已成为NER任务的state-of-the-art解决方案。BERT(Bidirectional Encoder Representations fr原创 2025-05-02 22:25:25 · 1640 阅读 · 0 评论 -
大模型微调与蒸馏的差异性与相似性分析
在预训练大模型基础上,通过少量标注数据调整参数,使模型适应特定任务需求。核心目标是提升模型在特定领域的性能,例如医疗影像分析或金融预测。该技术聚焦于垂直场景的精度优化,通常需要任务相关的标注数据支持。将大型教师模型的知识迁移到小型学生模型,实现模型压缩与性能保留。核心目标是降低模型部署成本,同时保持接近原模型的泛化能力。其核心价值在于平衡模型效率与效果,适用于资源受限的落地场景。原创 2025-04-26 23:09:55 · 952 阅读 · 0 评论 -
判断 ONNX 模型是否支持 GPU
若是 NVIDIA 平台:TensorRT 可以加速大多数兼容模型(比 ONNXRuntime-GPU 更强)✅ 方案 2:使用 OpenVINO 或 TensorRT(适用于优化部署)✅ 方案 3:使用 onnxruntime-tools 检查模型兼容性。✅ 1. 检查模型支持的 Execution Provider。若是 Intel 平台:OpenVINO 会是更适合的加速方式。这会尝试生成一个 .ort 文件并报告哪些算子不支持 GPU。✅ 方案 1:尝试重新导出支持 GPU 的 ONNX 模型。原创 2025-04-26 23:08:46 · 790 阅读 · 0 评论 -
将Ubuntu系统中已有的Python环境迁移到Anaconda的虚拟环境中
需求:关于如何将Ubuntu系统中已有的Python环境迁移到Anaconda的虚拟环境test2里,而且他们提到用requirements.txt 安装一直报错,所以想尝试直接拷贝的方法。可以尝试通过直接拷贝移植的方式迁移Python环境到Anaconda虚拟环境,但需注意系统环境和虚拟环境的Python版本一致性。原创 2025-04-22 15:11:47 · 425 阅读 · 0 评论 -
深度学习优化器详解:SGD、Adam与AdamW
SGD是最基础的优化算法,每次迭代仅使用或计算梯度并更新参数。其中η是学习率,∇θ J是损失函数对参数的梯度。原创 2025-04-20 16:19:01 · 1306 阅读 · 0 评论 -
深度学习中多标签分类与多分类的差异
多分类(Multi-class Classification)定义:每个样本仅属于一个类别,类别之间互斥。例如,手写数字识别(0-9)、新闻主题分类(政治/经济/体育等)。标签形式:单标签,如[0, 1, 0](one-hot编码)。多标签分类(Multi-label Classification)定义:每个样本可同时属于多个类别,标签之间可能存在关联。例如,图像标注(包含“猫”和“草地”)、疾病诊断(同时患高血压和糖尿病)。标签形式:多标签,如[1, 0, 1](multi-hot编码)。原创 2025-04-20 15:48:07 · 464 阅读 · 0 评论 -
拉取windows的docker镜像转到服务器上构建服务镜像
一旦你选择了一个合适的基础镜像,你可以使用docker pull命令从Docker Hub下载它。原创 2025-04-18 14:38:44 · 403 阅读 · 0 评论 -
docker创建容器添加启动--restart选项
推荐优先使用 docker update 命令,简单高效且兼容性强。修改配置文件适用于调试或特殊环境,但需谨慎操作以避免配置冲突。可通过 docker inspect 验证参数是否生效。★★★★★★★★★★★★★★★★★★如何在启动时就配置好?原创 2025-04-09 09:36:09 · 1781 阅读 · 0 评论 -
linux ubuntu 高频操作笔记
1.删除pid进程kill -9 xxx2.删除指定名字的进程(修改grpc_server.py)ps -ef|grep grpc_server.py|grep -v grep|cut -c 9-15|xargs kill -93.进程查看ps auw 近期ps aux 全部原创 2025-04-08 10:30:56 · 804 阅读 · 0 评论 -
LLM推理框架对比与选型
在选择LLM推理框架时,需要根据具体的任务需求、资源情况和开发目标来综合考虑。合适的推理框架能够提高开发效率,提升系统性能,让项目更加顺利地推进。希望这份选型指南能帮助你找到适合自己的LLM推理框架。原创 2025-04-08 10:27:11 · 418 阅读 · 0 评论 -
常见的图像生成算法
当前图像生成技术以GAN、扩散模型和Transformer为主流,结合边缘优化、轻量化设计提升实用性。未来趋势包括多模态融合、低资源消耗算法和交互式生成工具的开发。具体技术选型需根据生成质量、可控性和计算成本综合权衡。原创 2025-04-05 16:00:28 · 588 阅读 · 0 评论 -
大模型技术应用小结
大模型作为人工智能领域的核心技术,其能力覆盖文本、图像、跨模态及垂直行业场景。原创 2025-04-04 14:23:48 · 176 阅读 · 0 评论 -
实体识别技术对比
依赖预定义规则模板和实体词典,通过正则表达式、词典匹配实现识别。典型应用如地址识别中的行政区划词典匹配。优势在于对高频实体识别准确率极高(接近100%3),但无法处理未登录词和新实体。原创 2025-04-03 14:06:27 · 249 阅读 · 0 评论 -
英文命名实体识别:Flair
Flair 通过字符级语言模型和上下文字符串嵌入,在 NER 等序列标注任务中取得了显著的性能提升。字符级建模:处理稀有词和拼写错误。上下文敏感嵌入:捕捉单词的多义性和上下文语义。高效性:字符级模型更容易训练和部署。Flair 的开源框架也为研究人员和开发者提供了一个强大的工具,可以轻松复现实验并应用于其他任务。原创 2025-04-02 10:34:05 · 195 阅读 · 0 评论 -
细品CLUENER2020中文细粒度命名实体识别
CLUENER2020数据集的发布为中文细粒度命名实体识别提供了一个更具挑战性的基准。实验表明,尽管基于预训练的模型在该数据集上表现出色,但仍有很大的改进空间。未来的研究可以通过数据增强、模型优化和多语言支持等方向进一步提升中文NER技术的性能。希望这篇专业讲解能够帮助你更好地理解CLUENER2020数据集及其在中文NER领域的重要性。原创 2025-04-02 10:28:58 · 1421 阅读 · 0 评论 -
常见文本分类算法框架的多维度对比
计算效率:传统算法(如朴素贝叶斯、SVM)和FastText适合实时或低资源场景;深度学习模型(如BERT)需GPU加速,大模型推理速度更慢。数据需求:传统算法和集成学习对小规模数据友好;深度学习需大量标注数据,BERT等预训练模型可通过迁移学习缓解数据不足,大模型仅需少量数据。适用粒度:FastText、TextCNN适合粗粒度分类;BERT、LSTM适合细粒度和复杂语义任务,llm适用于更加复杂的任务。可解释性:决策树、朴素贝叶斯解释性强;鲁棒性:集成学习和深度学习对噪声和特征冗余的容忍度较高。原创 2025-04-01 10:04:23 · 236 阅读 · 0 评论 -
transformer架构与其它架构对比
Transformer通过全局注意力机制突破了传统模型的序列处理限制,成为NLP、CV等领域的通用架构。其核心优势在于并行性、长程建模能力和灵活性,但计算资源消耗较大。未来发展方向将聚焦于效率提升、多模态融合和硬件适配。原创 2025-03-31 12:47:14 · 834 阅读 · 0 评论 -
大模型智力与人类智力的区别
大模型在效率(数据处理速度)、规模(知识覆盖广度)和标准化任务上超越人类,而人类在创造力、伦理判断、动态适应和具身智能上仍具不可替代性。未来趋势可能是“人机协同”,例如大模型辅助人类突破认知边界,而人类解决模型无法处理的复杂系统问题。原创 2025-03-30 14:52:08 · 445 阅读 · 0 评论 -
为什么大模型能回答问题,感觉有智力?
大模型的“智力”实为数据、算力与算法协同的结果:数据提供知识素材,算力(如GPU集群)支撑训练,算法(如Transformer)实现高效学习。用户感知到的“智力”源于模型对语言流畅性和部分逻辑关联的模仿,而非真正的认知能力。未来需通过知识图谱融合、多模态训练等技术缩小与人类智能的差距。原创 2025-03-29 22:21:57 · 212 阅读 · 0 评论 -
意图识别的一些典型方法
意图识别是自然语言处理领域的核心技术,其核心目标是理解用户输入的真实目的。原创 2025-03-28 10:43:37 · 1105 阅读 · 0 评论 -
广告推荐算法:COSMO算法与A9算法的对比
COSMO(Common Sense Knowledge for Marketplace Organization)算法是亚马逊在2024年推出的新一代AI驱动算法,基于大语言模型(LLM)和知识图谱技术,旨在通过理解用户意图和场景化需求,提供更个性化的推荐。技术基础:A9依赖传统规则和关键词匹配,而COSMO基于AI模型动态推理。逻辑焦点:A9关注“产品属性匹配”,COSMO强调“用户意图理解”。应用场景:A9适用于标准化商品搜索,COSMO支持自然语言交互和兴趣电商。原创 2025-03-28 10:24:20 · 1027 阅读 · 0 评论 -
为什么大模型选择Transformer架构而不选择RNN的原因?
Transformer凭借并行性、长程建模、扩展性等优势,成为大模型的核心架构。尽管后续出现RWKV7等改进模型尝试结合RNN的低复杂度与Transformer的全局感知,但其生态成熟度与硬件适配性仍无法撼动Transformer的主导地位。未来,通过线性注意力算法、动态稀疏化等技术进一步降低计算复杂度,将是Transformer持续领跑大模型领域的关键。原创 2025-03-27 14:04:45 · 513 阅读 · 0 评论 -
对比一下RNN/LSTM/GRU的区别
对比一下RNN/LSTM/GRU的区别。原创 2025-03-26 23:39:38 · 448 阅读 · 0 评论 -
yolov5 针对识别中大目标的识别超参调整
修正 YOLOv5 只检测中、大目标。原创 2025-03-26 11:49:57 · 246 阅读 · 0 评论 -
为什么大模型能顿悟?
架构(如Transformer)提供模式捕捉能力,训练策略(如权重衰减)引导知识提炼方向;这一现象挑战了传统机器学习对“记忆-泛化”的二分法,揭示了模型从量变到质变的学习动态。未来研究需进一步探索顿悟的可控性,以提升模型的可靠性和可解释性。原创 2025-03-26 10:13:10 · 256 阅读 · 0 评论 -
如何减少或解决大模型的幻觉问题?
可解释AI:揭示模型内部知识存储与推理机制;多模态融合:整合视觉、语音等信号提升上下文理解;伦理框架:建立生成内容的可信度认证体系。原创 2025-03-25 21:57:47 · 485 阅读 · 0 评论 -
快速了解Transformer与循环神经网络(LSTM/RNN)的区别
快速了解Transformer与循环神经网络(LSTM/RNN)的区别。原创 2025-03-25 17:52:26 · 369 阅读 · 0 评论 -
标注数据分布绘图:matplotlib绘制样本标签分布图
标注数据分布绘图:matplotlib绘制样本标签分布图# -*-coding:utf-8-*-import pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltplt.style.use("fivethirtyeight")plt.figure(figsize=(50, 10), dpi=80)data_with_label = pd.read_csv("WholeSentence_Nlpcc2014Train.原创 2025-03-23 02:33:15 · 141 阅读 · 0 评论 -
OpenCV 主要功能及用法
【代码】OpenCV 主要功能及用法。原创 2025-03-20 09:53:42 · 169 阅读 · 0 评论 -
文本翻译模型的分类及对比分析
日常通用翻译:优先选择GPT-4、腾讯元宝等大模型,平衡质量与效率。专业领域需求:使用垂直优化模型(如Codex)或对大模型进行领域微调。实时场景:可尝试讯飞星火、Kimi等同声传译优化模型。图像文本翻译:SVTR或结合多模态工具(如GPT-4V)提升准确率。原创 2025-03-20 09:53:01 · 579 阅读 · 0 评论 -
使用python提取mp4视频的图片
将在该mp4目录生成一个文件名同名目录,图片存入其中,图片命名为:文件名_frame_num.jpg。原创 2025-03-19 10:53:21 · 211 阅读 · 0 评论 -
文本表征模型概览
基础任务:词袋模型或TF-IDF(快速实现)。语义分析:Word2Vec/GloVe(平衡效果与成本)。复杂任务:BERT等预训练模型(优先准确率)。资源受限场景:轻量级对比学习模型(如SimCSE)。原创 2025-03-19 09:55:13 · 684 阅读 · 0 评论 -
主流大模型加速推理框架对比表(vllm、tensorRT、llama.cpp、Ollama)
主流大模型加速推理框架对比表(vllm、tensorRT、llama.cpp、Ollama)原创 2025-03-17 23:03:12 · 932 阅读 · 0 评论 -
主流外部知识库AI Agent框架的核心特点及优缺点的对比分析(langchain、fastgpt、graphrag等)
特点:模块化框架,支持复杂NLP任务链式编排,提供记忆管理、工具集成和多种代理模式。特点:私有化部署的知识库ChatGPT,基于LangChain生态。特点:专精于检索增强生成(RAG),优化索引与查询效率。特点:基于图结构的RAG框架,强化知识关联推理。特点:企业级可视化AI工作流平台,开箱即用。特点:轻量化RAG框架,强调部署便捷性。原创 2025-03-17 18:03:33 · 512 阅读 · 0 评论