- 博客(27)
- 收藏
- 关注
原创 实现将文本数据(input_text)转换为input_embeddings的操作
我们在使用大模型时,如何将我们理解的文字转换为大模型所理解的文字。
2025-07-11 15:51:51
878
原创 Pydantic + Function Calling的结合
Pydantic 是一个 Python 库,用于数据验证和设置管理,通过 Python 类型注解强制执行数据类型。输入数据会自动验证类型,无效数据会引发。
2025-06-08 16:22:16
396
原创 关于langchain使用API加载model的方式
定义工具函数"""获取当前天气情况。输入地点,如'上海'"""weather_conditions = ["晴天", "多云", "雨天"]return f"{location}今天是{random_weather}。# 查询当前时间的工具"""获取当前时间"""return f"当前时间:{formatted_time}。创建tool列表请根据以下的 JSON 格式提供工具信息。type字段固定为"function";function字段为 Object 类型;name。
2025-06-02 00:05:57
808
原创 关于Agent的简单构建和分享
"""工具基类"""self._is_core = False # 是否为核心工具@property"""工具名称"""pass"""工具主逻辑Args:params: 参数字典Returns:执行结果"""pass"""天气查询工具,获取指定城市的天气信息"""@propertycity = params.get("city", "北京")# 实际调用天气API基于大语言模型(LLM)的智能代理(Agent)实现,具有工具使用、记忆和检索增强生成(RAG)能力。
2025-04-23 21:34:30
982
原创 [推荐]AI驱动的知识图谱生成器(AI Powered Knowledge Graph Generator)
简介:以非结构化文本文档为输入,使用您选择的LLM以主语-谓语-宾语 (SPO) 三元组的形式提取知识,并将这些关系可视化为交互式知识图谱可与任何 OpenAI 兼容 API 端点配合使用prompt,简单的理解它是给 AI 模型的指令。任何你希望解决的问题通过文字形式表达出来,作为Prompt传递给AI模型(在ChatGPT等GPT产品中目前是文字形式,未来可能有图像,语音,视频等多形式),AI 模型会基于 prompt 所提供的信息,生成对应的文本、图片甚至视频等信息。
2025-04-13 22:12:55
1640
5
原创 MCP 实战:实现server端,并在cline调用
本文动手实现一个简单的MCP服务端的编写,并通过MCP Server 实现成绩查询的调用。
2025-04-03 17:24:54
1065
原创 简单谈谈很火的MCP( Model Context Protocol,模型上下文协议)
MCP(,旨在解决AI工具开发中接口不统一、跨模型共享困难等问题。。
2025-03-28 17:10:10
1203
原创 利用矩阵相乘手动实现卷积操作
卷积(Convolution) 是信号处理和图像处理中的一种重要操作,广泛应用于深度学习(尤其是卷积神经网络,CNN)中。它的核心思想是通过一个卷积核(Kernel) 或 滤波器(Filter) 对输入信号或图像进行扫描,提取局部特征。在信号处理领域,卷积可以看作是两个函数或信号在某种程度上的“重叠”运算。在图像处理中,卷积是图像滤波的核心操作。图像滤波器,例如边缘检测、模糊和锐化都是通过卷积来实现的。给定两个离散信号 f 和 g,它们的卷积 (f∗g) 定义为:对于二维信号(如图像),卷积的定义为:卷积操
2025-03-04 22:04:01
1023
原创 关于使用transformers的Trainer微调报错 TypeError:model. forward() got an unexpected keyword argument ‘labels‘
在运行trainer.train()时,报错TypeError: Qwen2Model.forward() got an unexpected keyword argument 'labels'在尝试AutoModelForCausalLM后,发现居然跑通了!起初认为时在构造数据集时定义的问题,但是在调试过程中发现trainer的构造。以为可以解决问题了,emmmmm发现作者找到了问题,但是最终并没有解决问题。然后突发奇想,去GitHub查看了Qwen的官方使用手册,然后百度了数篇文章,看到了。
2025-02-06 16:00:45
1316
原创 browser-use 的简单使用
BrowserUse是一个基于Python开发的开源库,它将先进的AI技术与浏览器自动化功能深度融合。通过集成Playwright等浏览器自动化工具,BrowserUse允许开发者使用任何支持LangChain的大型语言模型(如GPT-4、Claude、DeepSeek等)来自动化浏览网页、提取信息、模拟用户操作等。3、‘sk-xxxxxxxxx’替换为自己的DeepSeek的api-key即可运行。2、原文件要获取openai-key,下面的代码是以DeepSeek为例的修改版。
2025-01-20 13:25:40
19317
9
原创 使用transformers和BertTokenizer遇到的问题
问题二:使用BertTokenizer出现ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.问题三:AttributeError: 'BertTokenizer' object has no attribute 'max_model_input_size'
2024-11-07 15:27:51
727
原创 解决Error:AttributeError: module ‘numpy‘ has no attribute ‘complex‘
# 报错详情:AttributeError: module 'numpy' has no attribute 'complex'. `np.complex` was a deprecated alias for the builtin `complex`. To avoid this error in existing code, use `complex` by itself. Doing this will not modify any behavior and is safe. If you spe
2024-11-02 16:00:54
1128
原创 NCCL报错 raise RuntimeError(“Distributed package doesn‘t have NCCL “ “built in“)RuntimeError: Distribu
windows用户可能必须使用“gloo”而不是“nccl”作为后端。windows系统不支持nccl,采用gloo;#nccl:NVIDIA集体通信库。
2024-10-18 23:03:29
1164
原创 Huggingface遇到 Couldn‘t reach xxx on the Hub (ConnectionError)解决方法
使用datasets.load_dataset()函数下载数据集失败。在对应的环境名/Lib/urllib/request.py。在下载模型时管用,数据集依旧无法解决。在对应的目录下,打开终端(前提:本机安装了Git)修改 proxyServers。
2024-10-17 16:42:57
3737
原创 第-10-章-使用pyecharts-进行数据展示
pyecharts 是一个用于生成 Echarts 图表的类库, Echarts 是百度开源的一个数据可视化JS 库。用 Echarts 生成的图可视化效果非常好,pyecharts 可以与 Python 进行对接,方便在Python 中直接使用数据生成图,生成结果是一个 HTML 文件,用浏览器打开即可看到效果。安装完成后,直接编写代码绘制地图,地图区域是无法显示的,需要另外安装地图文件。
2024-05-18 11:15:11
541
原创 第-9章-数据分析案例:Python-岗位行情
我们可以进行词频统计,即统计每个词语出现的次数,然后按照比例生成词云。而生成词云可以利用 Wordcloud 库。
2024-05-18 11:13:44
1370
原创 第-8章-Python-爬虫框架-Scrapy(下)
Docker 是基于 Linux 容器的封装,提供了简单易用的容器使用接口。而 Linux 容器是一种虚拟化技术,不是模拟一个完整的系统,而是对进程进行隔离(在进程外嵌套一层),使得进程访问到的各种资源都是虚拟的,从而达到与底层系统隔离的目的。可以简单地将它理解成更轻量级的虚拟机。另外,因为容器是进程级别的,相比虚拟机而言,启动速度更快,资源占用更少。
2024-05-17 23:48:58
796
原创 第-7章-Python-爬虫框架-Scrapy(上)
Scrapy,是用 Python 语言开发的一个快速、高层次的屏幕/Web 抓取框架,用于抓取 Web 站点并从页面中提取结构化数据。Scrapy 使用 Twisted 异步网络请求框架来处理网络通信,不需要额外实现异步框架,而且包含各种中间件接口,能灵活地实现各种需求。Scrapy 的用途广泛,常用于数据挖掘、监测和自动化测试。7.1.1 Scrapy 相关信息官网:https://scrapy.org/官方文档:https://doc.scrapy.org/en/latest/
2024-05-17 23:28:22
650
原创 第-6章-Python-应对反爬虫策略
编写爬虫的目的是自动获取站点的一些数据,而反爬虫则是利用技术手段防止爬虫爬很多初级爬虫非常简单,不管服务器压力,有时甚至会使网站宕机。保护数据,重要或涉及用户利益的数据不希望被别人爬取。商业竞争,多发生在同行之间,如电商。网络代理是一种特殊的网络服务,网络终端(客户端)通过这个服务(代理服务器)和另一个终端(服务器端)进行非直接的连接,简单点说就是利用代理服务器的 IP 上网。透明代理:服务器知道你用了代理 IP,并且知道你的真实 IP。
2024-05-17 23:20:43
1455
原创 第-5章-用数据库存储数据
这种表格存储文件的形式适用于少量数据的情况,当记录很多、字段很多时,打开文件会非常慢,而且卡顿,多个 Sheet 之间不能设计复杂的数据关系,这时就要使用数据库了。
2024-05-17 22:59:46
893
原创 第-4章-用-CSV-和-Excel-存储数据
CSV(Comma-Separated Values)其实就是纯文本,用逗号分隔值,可以分隔成多个单元格。CSV 文件除了可以用普通的文本编辑工具打开,还能用 Excel 打开,但 CSV 和 ExcelPython 中内置了一个 csv 模块用来处理 CSV 文件。
2024-05-17 22:18:58
1700
原创 第-3章-python-爬虫抓包与数据解析
第 3章 Python 爬虫抓包与数据解析3.1 抓包进阶目前,我们已经会使用 Chrome 浏览器自带的开发者工具来抓取访问网页的数据包,但是这种抓包方法有局限性,比如只能监听一个浏览器选项卡,如果想监听多个选项卡,必须打开多个页面。另外,随着智能手机的普及,企业也不像以前一样必须开发一个 PC 端的网站,而是更倾向于制作自己的 App 或微信小程序等。另外比较重要的一点是,App 端的反爬虫没有Web 端那么强,所以移动端的抓包也是一门必备技能。3.1.1 HTTPS 介绍HTTP,它使用 T
2024-05-17 22:07:29
1997
原创 第-2章Python-爬虫基本库的使用
爬虫并没有你想象中的复杂,很多初学者一开始就担忧,比如怎么写代码去构造请求,怎么把请求发出去,怎么接收服务器的响应,需不需要学习 TCP/IP 四层模型的每一层的作用。其实,你不用担忧那么多,Python 已经为我们提供了一个功能齐全的类库——urllib,你只需要关心:要爬取哪些链接、要用到哪些请求头和参数。除此之外,还有一些功能更加强大的第三方类库等。
2024-05-17 21:37:34
989
原创 第-1-章-Python-爬虫概念与-Web-基础
HTML(Hypertext Markup Languag,超文本标记语言)。我们来拆分这个名词,首先是超文本,文本一般指的是文字和符号,而在 HTML 中则可以是图片、音视频等其他媒体,远远超出了文本的范畴,所以称为超文本。其次是标记,在 HTML 中所有内容都叫作标记,用一个标记来包含一块内容,表示其作用,比如标签用来标记一个文章段落。HTML 标签语法。
2024-05-16 17:30:06
909
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人