- 博客(249)
- 资源 (33)
- 收藏
- 关注
原创 【从零开始】11. LLaMA-Factory 微调 Qwen 模型(番外篇)
本文将从部署开始,详细讲一下如何使用 llamafactory 对开源模型进行指令微调了,并且在微调过程中我是如何一次一次地进行参数调整的,我也跟各位分享一下。
2024-12-29 22:16:18
1616
原创 【从零开始】10. RAGChecker 提升回答准确率(番外篇)
本文讲述本人使用 RAGChecker 对 RAG 应用调优的过程,里面还会包含一些关于 RAGChecker 的使用意见,希望对各位有用~
2024-12-25 18:27:22
862
原创 【从零开始】9. RAG 应用调优-再续(番外篇)
本文将介绍在 Python 中如何对 CUDA 显存进行监控并在到达阈值时进行显存的清理,希望这个对大家也有用吧。
2024-12-13 15:55:21
409
原创 【从零开始】7. RAG 应用调优(番外篇)
本文讲述如何使用 pressure_util.py 压测工具对基于 transformers 驱动的 RAG 应用进行性能调优的过程(没有用加速框架就是一些基础优化)。
2024-11-23 09:24:14
1089
原创 【从零开始】6. RAG 应用性能压测工具(番外篇)
本文主要讲述 SSE(ServerSent Event)机制,以及如何编写基于 SSE 的压力测试程序,虽然是一个浅显的 Python 实现,但对于希望远程压测的需求来说是够用了(前提是配合其他监控工具使用,因为本工具没有数据统计)。
2024-11-11 11:24:58
1170
原创 【从零开始】5. 向量数据库选型与搭建
本文将结合 docker 版本的 elasticsearch 8.x 给各位展示自封装的 python elasticsearch 工具类。与此同时创建今后演示需要的项目 brain-mix 到 github 库
2024-11-08 11:24:26
1428
原创 【从零开始】4. 搭建 Python 开发环境
主要讲述了python 开发环境的搭建工作,从 anaconda 下载安装到 vscode 插件安装,也希望能够对 python 初学者有点帮助
2024-11-05 17:34:44
1077
原创 【从零开始】3. Ollama 接入开发工具(番外篇)
本文讲述的是如何使用 twinny 将远程 Ollama 算力接入到开发工具中,极大程度释放开发人员生产力。
2024-10-27 10:24:27
1324
1
原创 【从零开始】2. Dell PowerEdge 人工智能服务搭建(番外篇)
本文属于番外篇,讲的是如何从一台服务器裸机到 完成 Ollama 和 Stable Diffusion 部署的全过程
2024-10-26 20:24:30
1114
原创 【Docker】Elasticsearch 8.12 安装与搭建
由于工作过程中硬件资源未能达到要求,现将使用 Elasticsearch 取代原 Redis + MySQL + Milvus 技术栈,在重新搭建的同时记录一下搭建过程(由于之前也分享过 Docker 版本 Elasticsearch 5.x 和 Elasticsearch 7.x 的部署方法,因此本文对分享过的内容将不再重复说明)。
2024-08-11 23:42:03
1425
原创 【Java】记录一次 JMH 性能测试与调优
本文主要通过一次公司“加解密工具”代码优化后,通过JMH进行了性能测试的案例,为大家结合代码讲解以下 JMH 的使用。
2024-07-24 09:31:41
661
原创 【AIGC】Mac Intel 本地 LLM 部署经验汇总(llama.cpp)
看到标题的各位都知道了。是的,终于也轮到 llama.cpp 了。先说结论,本次 llama.cpp 部署已能在 Intel 核心的 MBP 中使用 Metal GPUs 进行推理。
2024-05-20 09:37:48
1669
原创 【AIGC】Mac Intel 本地 LLM 部署经验汇总(CPU Only)
书接上文,我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型,在非 Stream 模式下需要 89 秒才完成一轮问答,响应速度实在是太慢,后续需要想办法进行优化...
2024-05-13 21:20:28
2960
1
原创 【AIGC】本地部署 ollama + open-webui
本文将记录部署过程中遇到的问题以及解决方式,希望对你有所帮助(open-webui 采用 docker 进行部署)。
2024-05-04 10:04:32
8492
5
原创 【AIGC】本地部署 ollama(gguf) 与项目整合
本文将采用 GGUF 预量化大模型结合 Ollama 对代码进行修改,给小伙伴们演示如何逐步实现非 GPU 资源的本地整合方案。
2024-04-30 09:13:04
2852
原创 【测试】Kali Linux 渗透安全学习笔记(4) - 单一服务器扫描
距离上次做 Kali Linux 分享已经相隔半年之久了,刚好需要主导公司每半年一次的本地安全加固工作,这次将简单分享自己是如何做单一服务器的扫描。
2024-04-22 09:17:42
1118
1
原创 【AIGC】本地部署通义千问 1.5 (PyTorch)
今天想分享如何从零开始在不使用第三方工具的前提下,以纯代码的方式本地部署一套大模型,相信这对于技术人员来说还是非常有用的。
2024-04-12 11:49:06
3743
原创 【AIGC】训练数据入库(Milvus)
之前的文章有写如何获取数据、如何补充数据,也有说如何对数据进行清洗、如何使用结构化数据进行训练。但好像没有说如何将训练数据“入库”。这里说的入库不是指 MySQL 数据库,而是指向量检索库 Milvus。
2024-04-09 19:13:30
2547
1
原创 【AIGC】通义千问生成问答数据集
好久没有更新跟实际应用相关的内容了(主要是因为公司知识产权问题未能立即公开,目前只能挑选一些脱敏内容与各位分享),如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。
2024-04-08 15:36:24
1933
原创 【AIGC】HF-Mirror 使用说明(MacOS 版)
今天这篇文章主要是记录 HF-Mirror 的使用过程,官网上提供了 Linux 和 Windows 的使用方式。本人作为 MacOS 用户也将自己的使用办法记录一下,希望能够帮助到其他人。
2024-04-07 16:36:58
3026
原创 【AIGC】AutoKeras 进行 RNN 循环神经网络训练
本文将结合代码讲述如何使用高质量问答数据通过 AutoKeras 的 RNN 神经网络训练问答人工智能的,希望各位喜欢。
2024-02-07 18:19:09
1275
原创 【AIGC】MacOS 本地部署 Stable Diffusion
忙里偷闲在本地部署了一套 stable-diffusion 来玩玩,虽然 Mac 还是使用 CPU 来生图,但是整体效果(生成时间、生成效果)还是能够接受的,真的感觉到 AI 的实施门槛在降低,走入平常百姓家了
2024-02-06 10:52:09
1360
原创 【面试】你认为怎样才算是合理的数据库模型?
虽然问得简单,但是涉及的知识点可不是一般的多(这里面涉及到开发、管理等方面的内容)。下面我将浅谈一下自己的看法,谢谢。
2024-02-05 17:03:32
419
原创 【面试】你了解过 TOGAF 标准吗?请谈谈你的认知。
现在各种各样的企业标准实在太多了,今天将谈谈我所认知的 TOGAF 标准以及如何在中小型企业中使用 TOGAF 标准。
2024-02-02 09:22:30
600
原创 【AIGC】AutoKeras 训练数据收集并入库
2024年的第一篇博文先填一下坑,这么长时间没有更新其实最近都在学习人工智能方面的内容,这次重新更新会将自己的一些学习笔记和感悟写一下给各位分享,希望各位能够喜欢
2024-01-31 15:46:19
1563
原创 【Docker】基于华为 openEuler 应用 Docker 镜像体积压缩
书接 openEuler 系列文章(可以翻看测试系列),本次跟大家说说如何保证 openEuler 镜像全补丁状态下进行镜像体积压缩。
2023-12-21 13:33:12
2000
原创 【面试】你有使用过链路追踪技术吗?
说到链路追踪就不得不说自动化运维和基础架构了,这里面还有很多好玩有趣的内容,今天先铺垫一下,有机会再给各位铺开来讲讲
2023-11-21 11:09:04
445
原创 【MySQL】导入 JSONL 数据到 MySQL数据库
最近在做一些数据整理的工作,外部机构提供的是 jsonl 格式的文件,为了方便开发人员操作需要将其导入到 mysql 中进行进一步清洗和整理,这个时候就用到 LOAD DATA INFILE 这种方式,权当记录一下。
2023-11-16 09:11:14
1747
原创 【面试】请您描述一下您是如何做内、外网之间的安全网络隔离?请提供一个解决方案
面试遇到的一个关于网络基础的问题,顺着思路来回答问题不大。主要是解决方案如果没有接触过真的有点难以回答,这里除了华为还可以选择其他的厂商的解决方案。
2023-11-14 10:38:39
694
原创 【AIGC】AutoKeras 的安装和环境配置(VSCode)
今天开始又挖新坑了,后面也会断断续续更新 AutoML 方面相关的内容,就由 AutoKeras 先打响头炮
2023-11-01 11:57:04
907
原创 【面试】什么是霍桑效应,在项目中具体要怎样使用霍桑效应呢?
近来听到参加高项考试的同事提到过霍桑效应,其实严格来说霍桑效应应该算是一种心理现象,不单单是项目管理,小孩子的学习也同样适用
2023-11-01 10:59:42
649
1
原创 【Java】Vert.x Jackson 序列化后日期数据正常展示
有段时间没有更新了,今天将给各位分享一个 Vert.x 框架中日期类型数据在 Jackson 序列化下的展示问题。
2023-10-19 20:36:13
419
1
原创 【Java】采用 Tabula 技术对 PDF 文件内表格进行数据提取
某天项目组来了个需求说需要提取 PDF 文件中数据作为数据沉淀使用,这是因为第三方系统不提供数据接口所以只能够出此下策。
2023-09-13 16:37:56
8057
5
原创 【面试】你知道什么是“赫兹伯格的双因素激励理论”吗?你是怎样通过该理论来管理你的团队的?
面试的时候聊了一些心理学方面的话题,居然聊到了赫兹伯格的双因素激励理论,我只会理论没有实践ε=(´ο`*))),且看我怎样将这个天聊下去。
2023-09-08 14:37:29
469
原创 【面试】拿到需求后你是如何设置合理的数据库模型的?
之前面试技术主管的时候遇到的这个题目,当时其实是将问题想得太复杂了,今天重新将这个问题回答一下,也算加深一下这方面的印象。
2023-09-06 10:56:27
279
Use iPaaS to Extend Your Data Integration Strategy to the Cloud in Hybrid Ways
2018-12-14
读书笔记—A Philosophy of Software Design(网摘)
2018-12-14
FusionCharts+Widgets+PowerCharts+FusionMaps v3.2 全套完美破解(附教程)
2016-05-11
jQuery 灯箱示例
2016-05-11
jQuery 图片渐隐切换菜单功能
2016-05-11
Scrum简介文档
2016-05-11
SVN 使用指南
2016-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人