m0_46287920的博客

需要爬取http://cffex.com.cn/ccpm/?productid=IF页面上的IF、IC、IH、TS、TF、T的持仓信息，时间为[2016.1.1到2020.1.1)。 首先查看robots.txt，该网站没有robots.txt文件。 查看网页源码，发现查询选取日期种类部分使用了多次写代码，问题主要有： 1.日期部分逻辑小问题； 2.每个页面耗时渐渐增加，爬到一半甚至一个页面需要9s左右，从爬取完到存入库； 3.xml文件中的标签名大小写不一致；标签内容有空格等。 问题1经过几次实验改进。问

这本书写的不错，十分推荐。第二部分介绍的范围广，可以作为兴趣入门介绍。 1.本书使用标准urllib模块和非标准模块bs4模块： from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen(“http://www.pythonscraping.com/pages/page3.html”) bsObj = BeautifulSoup(html) 2.find_all()方法相关： find_all(name=N