- 博客(32)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 python 爬虫开发笔记--实现爬虫的思路
实现爬虫的套路1.准备url准备start_urlurl地址规律不明显，总数不确定通过代码提取下一页的urlxpath寻找url地址，部分参数在当前的响应中（比如，当前页码数和总的页码数在当前的响应中）准备url_list页码总数明确url地址规律明显2. 发送请求，获取响应添加随机的User-Agent,反反爬虫添加随机的代理ip，反反爬虫在对方...
2019-09-21 19:23:31
177
原创 linux中的常用目录
前言：前段时间发现windows10上好多依赖包都不能直接pip安装，买的云服务器用的centos7的系统也感觉不好用，所以最近在写项目的过程中用的是ubuntu系统。本文介绍一下 Linux 的目录结构，介绍一下这些文件夹都是干什么的。Linux 的目录结构图参考文章：1.https://mp.weixin.qq.com/s/s8DgGYloiqD0iyQJY6O0-g.2.ht...
2019-09-05 17:21:33
461
原创 python web开发笔记--Ubuntu16.04pyenv安装、使用及Python安装
前言：写这篇文章的目的是因为自己用win10系统做python开发存在诸多限制，一些插件的安装需要折腾很久，最近学习flask时用win10就遇到了插件无法安装，去折腾费力不讨好，所以弄了个虚拟机装ubuntu系统来开发。为什么安装pyenvPython 2和Python 3之间存在着较大的差异，并且由于各种原因导致了Python 2和Python 3的长期共存。在实际工作过程中，我们可能会同...
2019-07-13 14:07:22
879
3
原创 运维笔记--linux常见命令：
linux常见命令：文件相关 创建和删除 touch 创建一个普通文件 mkdir 创建一个目录文件 ln 创建一个链接文件 查看和搜索 echo 将命令后面的内容，输出到当前屏幕 cat 查看文件内容 find 搜索文件内容 grep 过滤关键字内容 man 查看命令帮助信息 zcat 查看压缩包文件内容 传输和压缩 scp 跨主机远程传输文件 cp 拷贝文件 mv 移动文件或者文件改名 wget 下载文件 tar 文
2020-06-17 18:38:52
243
原创 python 爬虫开发之抖音小工具
前言：有没有感觉网络不好的时候一个小视频要等半天才能看，而且等了这么久还不定能下载完成。特别是在外出差的交通工具上的时候，那时候网络真叫一个差字啊！想看抖影音打发时间都没网络。最近突然想到了可以用Python爬虫下载抖音视频，弄到手机上，出行直接看就行了，手机网络都不用，也不要流量。于是乎先去github看是否有前辈做过类似的事情，果然，让我发现了一个强大的神器。amemv-crawler，这...
2019-11-23 20:55:16
917
原创 python SQL--mysql调优笔记（一）
主要内容：查询语句where 子句使用时候优化或者需要注意的like语句使用时候需要注意in语句代替语句索引使用或是创建需要注意mysql的索引类型索引类型：PRIMARY, INDEX,UNIQUE,FULLTEXT,SPAIAL。区别以及各适用场合：举个例子来说，比如做某商场一个会员卡的系统。这个系统有一个会员表有下列字段：会员编号 INT会员姓名 VARCHAR(...
2019-10-16 15:03:34
284
原创 python web开发笔记--缓存设计（一）
前言：在使用缓存之前，需要确认你的项目是否真的需要缓存。使用缓存会引入的一定的技术复杂度，本文也将会介绍一些存在的问题（复杂度）。1.可以从两个方面来个是否需要使用缓存:CPU占用:有某些应用需要消耗大量的cpu去计算，比如正则表达式，如果使用正则表达式比较频繁，而其又占用了很多CPU的话，那就应该使用缓存将正则表达式的结果给缓存下来。数据库IO占用:1. 如果发现数据库连接池比较空闲，...
2019-10-14 16:24:45
366
原创 python 爬虫开发之贴吧小工具
爬虫一共就四个主要步骤：明确目标 (要知道准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据（按照我们想要的方式存储和使用）...
2019-09-23 17:38:43
476
原创 linux常用命令(一)
在工作中，大量的服务器维护工作都是通过 Xmanager 中的SSH 客户端来完成的，并没有图形界面，所有的维护工作都需要通过命令来完成。如文件存取、目录操作、进程管理、文件权限设定等。下面讲一些较为常用的linux命令1.常用 Linux 命令的基本使用命令对应英文作用lslist查看当前文件夹下的内容pwdprint wrok directory查看当前...
2019-09-17 23:22:09
132
原创 python web开发笔记--Restful
前言：因为有点危机感，所以时常看看招聘网站的招聘信息，看看自己面对那些岗位要求，有哪些不满足。最近浏览的时候，经常看到岗位要求上有一个熟悉Restful。所以最近在做项目时，就边学边做，用上了这个设计风格。Restful简单的说：符合REST的约束条件和原则，就称它为RESTful架构。REST:Representational State Transfer的缩写，翻译：“具象状态传输”。一...
2019-08-25 14:56:03
291
原创 PyCharm 使用技巧（一）
前言：都是些自己在使用 PyCharm 中，认为比较有用的使用技巧，有一些虽然只是一个小小的配置，但是配置好了，在使用过程却能节省时间。注意：以下代码演示是在 ubuntu 环境下1. 代码排版，自动PEP8pep8 是Python 语言的一个代码编写规范。如若你是新手，目前只想快速掌握基础，而不想过多去注重代码的的编写风格（虽然这很重要），那你可以尝试一下这个工具 - autopep8首...
2019-08-19 20:29:06
422
原创 python 使用flask Blueprint(蓝图) 接收前前端的ajax的post请求，报405 错误的解决办法
在利用flask进行python的项目的开发过程中，做到了注册这一块，在前台利用ajax+post请求的时候，报了405 METHOD NOT ALLOWED的错误。百度了好久，试了好久，均没有解决405 METHOD NOT ALLOWED这个问题。报错相关的passport文件代码如下@api.route("/users", methods=["POST"])# @api.route("...
2019-08-06 22:10:40
1589
原创 Python 关于装饰器 @property
Python内置的@property装饰器最近做微信项目时，发现在绑定属性时，如果像之前弄JAVA一样，弄set和get，感觉代码有点多（虽然可以用，但是学python是为了因为什么，因为人生苦短啊，哈哈…）。用set_score()方法来设置成绩，再通过一个get_score()来获取成绩，这样在set_score()方法里，就可以检查参数：例如：class Student(object)...
2019-08-05 23:47:49
157
原创 python3短信验证码demo，云通讯SDK----python2.X版本升级适配3.X
最近自己做项目时，遇到做手机短信验证码时，官网给的最新SDK是python2.X的，自己开发项目的python版本是python3.7，没办法只能自己一个一个到报错的地方改。PS:这里吐槽一下工具pycharm，没有java的myeclipse好用，myeclipse基本是只要有这个函数，你".“了，那些七七八八的都会显示出来，pycharm有些是遮遮掩掩的，你不去看API文档，你都不知道有这个...
2019-08-02 23:10:22
971
8
原创 python web开发笔记–python虚拟环境 virtualenvwrapper
背景：之前使用pip安装第三方模块时会安装到~/.pyenv/versions/xxx下，不会和系统模块发生冲突，也就是说使用pip安装依赖库时，安装在pyenv的当前Python版本下。但在实际工作中，如果要同时开发多个应用程序，而且这些应用程序都共用一个Python的话，此时virtualenvwrapper就派上用场了，virtualenvwrapper就是用来为一个应用创建一套“隔离”的...
2019-07-13 14:51:37
246
原创 python web开发笔记--阿里云centos7部署django项目全流程(二)虚拟环境、mysql安装及导入django依赖库
安装python相关包需要用到python中的pip命令
2019-07-06 22:01:09
852
4
原创 python web开发笔记--阿里云centos7部署django项目全流程(一)python3安装
(PS:本文假设你已经在本地联调好django项目，只是需要将django部署到外网，且阿里云服务器已经买好了)
2019-07-06 16:33:13
1356
原创 基础地图功能模板
前言：这是很久之前的工作中遇到的，今天跟之前的同事聊天时突然聊到了，所以就写个模板，防止工作中再次遇到却写不出来。最基础的HLML版，用的百度地图的API。点击地图可以获得详细地址，也可以输入文字进行搜索。<html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv=&a
2019-01-18 16:29:35
259
原创 1.Python面向对象（OOP）
1.定义类定义一个类，格式如下：class 类名: 方法列表demo：定义一个Car类# 定义类class Car: # 方法 def getCarInfo(self): print('车轮子个数:%d, 颜色%s'%(self.wheelNum, self.color)) def move(self): print("...
2019-01-16 17:12:35
302
原创 Python基础
前言：在平时接触Python中，深感它的魅力所在，代码量少（哈哈，因为没接触很深，其他还没感觉到），他可能目前市场占有率不如JAVA，但是一些高校中也在普及Python(从一些新闻和同学的聊天中了解到)，再加上自己喜欢学些新知识，所以开始写Python的文章。1.我的第一个Python程序我不管学什么编程语言，老师第一个教我的当然是输出： “你好，世界”print(‘hello world’...
2019-01-15 22:38:14
386
原创 1.JAVA SSM(Spring+SpringMVC+MyBatis)XML文件配置和Jar包
前言：因为辞职了，所以在现在也就没用Maven，Spring Boot了，自己看的简洁明了就好（不过maven不用导包，直接中央仓库下载是真的舒服，舒服的同时就是要注意一下那些东西的版本问题）。先来个自己积攒的最基础的SSM得jar包和一些XML文件配置的链接吧：https://download.csdn.net/download/kk907528318/10910571...
2019-01-11 17:09:27
383
原创 1.struts2
1.搭建步骤创建web工程—》选中工程—》菜单MyEclipse–>Project Caba…—>Add Struts—》选择struts2，至少引入Struts2 core核心库
2019-01-04 11:21:51
133
原创 2.异常、IO、多线程
IO1.File类代表一个文件或者文件夹，主要是为IO提供操作的数据源.在new File() 的时候,里面通常放的是一个文件名(包括扩展名,此时文件处于自己创建的工程内)或者是文件的路径。2.什么是IO流？流就是一系列数据，设备间运动的数据序列。当不同的介质（电脑与数据库，或者电脑与电脑之间）之间有数据交互的时候，JAVA就使用流来实现数据交互。 数据源可以是文件，还可以是数据库...
2018-12-17 14:31:51
166
原创 2.JAVA OOP(面向对象编程)
static关键字的用法static的意思是“’静态的”，在java里面可用于修饰属性和方法。static关键字的应用应注意以下几种情形： 1.static作用于某个字段，一个static字段对每个类来说只有一份存储空间，而非static字段是每个对象有一份存储空间。2.static作用于方法。不需要创建任何对象直接调用该static方法,这对于main()方法很重要。3.st...
2018-12-06 21:39:30
164
原创 1.JAVA OOP(面向对象编程)
前言:Java 是面向对象的高级编程语言，类和对象是 Java 程序的构成核心。围绕着 Java 类和 Java 对象，有三大基本特性：封装是 Java 类的编写规范、继承是类与类之间联系的一种形式、而多态为系统组件或模块之间解耦提供了解决方案(面向对象的编程语言主要有：C++、Java、C#等)。- 面向对象的程序设计有三大特征：封装：解决了数据的安全性问题继承：解决了代码的重用问题多态...
2018-12-05 11:03:20
292
原创 JAVA基础类型、运算符解析、流程控制。。。
JAVA基础类型、运算符解析、流程控制。。。前言:这是第一次开始在CSDN上系统的整理自己所学的一些项目经验、代码编辑经验。以前都是用个记事本随便写一下，发现不太方便查找，而且一大堆文本文件看着也不舒服，也容易丢失一些文本，所以在工作之余，开始整理自己的经验、技术。1.语法规范标识符只能包含数字，字母，下划线和美元符号，并且不能以数字打头命名规范（让你的代码的可读性增强）用有含义的英文...
2018-12-04 13:57:44
228
flask(20200831).zip
2020-08-31
Flask（自用资料）
2020-07-15
jd_book爬虫.zip
2019-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人