自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 实现将文本数据(input_text)转换为input_embeddings的操作

我们在使用大模型时,如何将我们理解的文字转换为大模型所理解的文字。

2025-07-11 15:51:51 878

原创 Pydantic + Function Calling的结合

Pydantic 是一个 Python 库,用于数据验证和设置管理,通过 Python 类型注解强制执行数据类型。输入数据会自动验证类型,无效数据会引发。

2025-06-08 16:22:16 396

原创 关于langchain使用API加载model的方式

定义工具函数"""获取当前天气情况。输入地点,如'上海'"""weather_conditions = ["晴天", "多云", "雨天"]return f"{location}今天是{random_weather}。# 查询当前时间的工具"""获取当前时间"""return f"当前时间:{formatted_time}。创建tool列表请根据以下的 JSON 格式提供工具信息。type字段固定为"function";function字段为 Object 类型;name。

2025-06-02 00:05:57 808

原创 关于Agent的简单构建和分享

"""工具基类"""self._is_core = False # 是否为核心工具@property"""工具名称"""pass"""工具主逻辑Args:params: 参数字典Returns:执行结果"""pass"""天气查询工具,获取指定城市的天气信息"""@propertycity = params.get("city", "北京")# 实际调用天气API基于大语言模型(LLM)的智能代理(Agent)实现,具有工具使用、记忆和检索增强生成(RAG)能力。

2025-04-23 21:34:30 982

原创 [推荐]AI驱动的知识图谱生成器(AI Powered Knowledge Graph Generator)

简介:以非结构化文本文档为输入,使用您选择的LLM以主语-谓语-宾语 (SPO) 三元组的形式提取知识,并将这些关系可视化为交互式知识图谱可与任何 OpenAI 兼容 API 端点配合使用prompt,简单的理解它是给 AI 模型的指令。任何你希望解决的问题通过文字形式表达出来,作为Prompt传递给AI模型(在ChatGPT等GPT产品中目前是文字形式,未来可能有图像,语音,视频等多形式),AI 模型会基于 prompt 所提供的信息,生成对应的文本、图片甚至视频等信息。

2025-04-13 22:12:55 1640 5

原创 MCP 实战:实现server端,并在cline调用

本文动手实现一个简单的MCP服务端的编写,并通过MCP Server 实现成绩查询的调用。

2025-04-03 17:24:54 1065

原创 简单谈谈很火的MCP( Model Context Protocol,模型上下文协议)

MCP(‌,旨在解决AI工具开发中接口不统一、跨模型共享困难等问题。‌。

2025-03-28 17:10:10 1203

原创 如何简单预估大模型运行所需的显存

模型消耗的显存主要来源于模型参数,前向/反向,梯度以及优化器……

2025-03-11 22:26:07 893

原创 利用矩阵相乘手动实现卷积操作

卷积(Convolution) 是信号处理和图像处理中的一种重要操作,广泛应用于深度学习(尤其是卷积神经网络,CNN)中。它的核心思想是通过一个卷积核(Kernel) 或 滤波器(Filter) 对输入信号或图像进行扫描,提取局部特征。在信号处理领域,卷积可以看作是两个函数或信号在某种程度上的“重叠”运算。在图像处理中,卷积是图像滤波的核心操作。图像滤波器,例如边缘检测、模糊和锐化都是通过卷积来实现的。给定两个离散信号 f 和 g,它们的卷积 (f∗g) 定义为:对于二维信号(如图像),卷积的定义为:卷积操

2025-03-04 22:04:01 1023

原创 关于使用transformers的Trainer微调报错 TypeError:model. forward() got an unexpected keyword argument ‘labels‘

在运行trainer.train()时,报错TypeError: Qwen2Model.forward() got an unexpected keyword argument 'labels'在尝试AutoModelForCausalLM后,发现居然跑通了!起初认为时在构造数据集时定义的问题,但是在调试过程中发现trainer的构造。以为可以解决问题了,emmmmm发现作者找到了问题,但是最终并没有解决问题。然后突发奇想,去GitHub查看了Qwen的官方使用手册,然后百度了数篇文章,看到了。

2025-02-06 16:00:45 1316

原创 browser-use 的简单使用

BrowserUse是一个基于Python开发的开源库,它将先进的AI技术与浏览器自动化功能深度融合。通过集成Playwright等浏览器自动化工具,BrowserUse允许开发者使用任何支持LangChain的大型语言模型(如GPT-4、Claude、DeepSeek等)来自动化浏览网页、提取信息、模拟用户操作等。3、‘sk-xxxxxxxxx’替换为自己的DeepSeek的api-key即可运行。2、原文件要获取openai-key,下面的代码是以DeepSeek为例的修改版。

2025-01-20 13:25:40 19317 9

原创 使用transformers和BertTokenizer遇到的问题

问题二:使用BertTokenizer出现ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.问题三:AttributeError: 'BertTokenizer' object has no attribute 'max_model_input_size'

2024-11-07 15:27:51 727

原创 解决Error:AttributeError: module ‘numpy‘ has no attribute ‘complex‘

# 报错详情:AttributeError: module 'numpy' has no attribute 'complex'. `np.complex` was a deprecated alias for the builtin `complex`. To avoid this error in existing code, use `complex` by itself. Doing this will not modify any behavior and is safe. If you spe

2024-11-02 16:00:54 1128

原创 NCCL报错 raise RuntimeError(“Distributed package doesn‘t have NCCL “ “built in“)RuntimeError: Distribu

windows用户可能必须使用“gloo”而不是“nccl”作为后端。windows系统不支持nccl,采用gloo;#nccl:NVIDIA集体通信库。

2024-10-18 23:03:29 1164

原创 Huggingface遇到 Couldn‘t reach xxx on the Hub (ConnectionError)解决方法

使用datasets.load_dataset()函数下载数据集失败。在对应的环境名/Lib/urllib/request.py。在下载模型时管用,数据集依旧无法解决。在对应的目录下,打开终端(前提:本机安装了Git)修改 proxyServers。

2024-10-17 16:42:57 3737

原创 第-10-章-使用pyecharts-进行数据展示

pyecharts 是一个用于生成 Echarts 图表的类库, Echarts 是百度开源的一个数据可视化JS 库。用 Echarts 生成的图可视化效果非常好,pyecharts 可以与 Python 进行对接,方便在Python 中直接使用数据生成图,生成结果是一个 HTML 文件,用浏览器打开即可看到效果。安装完成后,直接编写代码绘制地图,地图区域是无法显示的,需要另外安装地图文件。

2024-05-18 11:15:11 541

原创 第-9章-数据分析案例:Python-岗位行情

我们可以进行词频统计,即统计每个词语出现的次数,然后按照比例生成词云。而生成词云可以利用 Wordcloud 库。

2024-05-18 11:13:44 1370

原创 第-8章-Python-爬虫框架-Scrapy(下)

Docker 是基于 Linux 容器的封装,提供了简单易用的容器使用接口。而 Linux 容器是一种虚拟化技术,不是模拟一个完整的系统,而是对进程进行隔离(在进程外嵌套一层),使得进程访问到的各种资源都是虚拟的,从而达到与底层系统隔离的目的。可以简单地将它理解成更轻量级的虚拟机。另外,因为容器是进程级别的,相比虚拟机而言,启动速度更快,资源占用更少。

2024-05-17 23:48:58 796

原创 第-7章-Python-爬虫框架-Scrapy(上)

Scrapy,是用 Python 语言开发的一个快速、高层次的屏幕/Web 抓取框架,用于抓取 Web 站点并从页面中提取结构化数据。Scrapy 使用 Twisted 异步网络请求框架来处理网络通信,不需要额外实现异步框架,而且包含各种中间件接口,能灵活地实现各种需求。Scrapy 的用途广泛,常用于数据挖掘、监测和自动化测试。7.1.1 Scrapy 相关信息官网:https://scrapy.org/官方文档:https://doc.scrapy.org/en/latest/

2024-05-17 23:28:22 650

原创 第-6章-Python-应对反爬虫策略

编写爬虫的目的是自动获取站点的一些数据,而反爬虫则是利用技术手段防止爬虫爬很多初级爬虫非常简单,不管服务器压力,有时甚至会使网站宕机。保护数据,重要或涉及用户利益的数据不希望被别人爬取。商业竞争,多发生在同行之间,如电商。网络代理是一种特殊的网络服务,网络终端(客户端)通过这个服务(代理服务器)和另一个终端(服务器端)进行非直接的连接,简单点说就是利用代理服务器的 IP 上网。透明代理:服务器知道你用了代理 IP,并且知道你的真实 IP。

2024-05-17 23:20:43 1455

原创 第-5章-用数据库存储数据

这种表格存储文件的形式适用于少量数据的情况,当记录很多、字段很多时,打开文件会非常慢,而且卡顿,多个 Sheet 之间不能设计复杂的数据关系,这时就要使用数据库了。

2024-05-17 22:59:46 893

原创 第-4章-用-CSV-和-Excel-存储数据

CSV(Comma-Separated Values)其实就是纯文本,用逗号分隔值,可以分隔成多个单元格。CSV 文件除了可以用普通的文本编辑工具打开,还能用 Excel 打开,但 CSV 和 ExcelPython 中内置了一个 csv 模块用来处理 CSV 文件。

2024-05-17 22:18:58 1700

原创 第-3章-python-爬虫抓包与数据解析

第 3章 Python 爬虫抓包与数据解析3.1 抓包进阶目前,我们已经会使用 Chrome 浏览器自带的开发者工具来抓取访问网页的数据包,但是这种抓包方法有局限性,比如只能监听一个浏览器选项卡,如果想监听多个选项卡,必须打开多个页面。另外,随着智能手机的普及,企业也不像以前一样必须开发一个 PC 端的网站,而是更倾向于制作自己的 App 或微信小程序等。另外比较重要的一点是,App 端的反爬虫没有Web 端那么强,所以移动端的抓包也是一门必备技能。3.1.1 HTTPS 介绍HTTP,它使用 T

2024-05-17 22:07:29 1997

原创 第-2章Python-爬虫基本库的使用

爬虫并没有你想象中的复杂,很多初学者一开始就担忧,比如怎么写代码去构造请求,怎么把请求发出去,怎么接收服务器的响应,需不需要学习 TCP/IP 四层模型的每一层的作用。其实,你不用担忧那么多,Python 已经为我们提供了一个功能齐全的类库——urllib,你只需要关心:要爬取哪些链接、要用到哪些请求头和参数。除此之外,还有一些功能更加强大的第三方类库等。

2024-05-17 21:37:34 989

原创 第-1-章-Python-爬虫概念与-Web-基础

HTML(Hypertext Markup Languag,超文本标记语言)。我们来拆分这个名词,首先是超文本,文本一般指的是文字和符号,而在 HTML 中则可以是图片、音视频等其他媒体,远远超出了文本的范畴,所以称为超文本。其次是标记,在 HTML 中所有内容都叫作标记,用一个标记来包含一块内容,表示其作用,比如标签用来标记一个文章段落。HTML 标签语法。

2024-05-16 17:30:06 909

原创 搭建自己的博客

title: 基于github和Hexo 搭建自己的博客。

2024-05-16 09:18:41 1601

原创 python-turtle入门

turtle库笔记

2022-12-16 18:30:36 5925

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除