Python常用的爬虫技巧总结.pdf

用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 Python作为一门功能强大的编程语言，尤其在Web快速开发、爬虫和自动化运维方面有着广泛的应用。本文主要总结了一些Python爬虫的基本技巧，帮助开发者在实际工作中提高效率。 1. **基本网页抓取**： Python的`urllib2`库提供了获取网页内容的基本方法。对于GET请求，可以创建一个`Request`对象并使用`urlopen`打开URL；对于POST请求，首先将表单数据编码为字符串，然后构建`Request`对象，最后同样用`urlopen`打开URL以发送数据。 ```python import urllib2 url = "http://www.baidu.com" response = urllib2.urlopen(url) print response.read() import urllib, urllib2 url = "http://abcde.com" form = {'name':'abc','password':'1234'} form_data = urllib.urlencode(form) request = urllib2.Request(url, form_data) response = urllib2.urlopen(request) print response.read() ``` 2. **使用代理IP**： 当频繁爬取同一网站导致IP被封禁时，可以使用代理IP。`urllib2`中的`ProxyHandler`类可以设置HTTP代理。以下代码展示了如何配置代理并访问网页： ```python import urllib2 proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'}) opener = urllib2.build_opener(proxy) urllib2.install_opener(opener) response = urllib2.urlopen('http://www.baidu.com') print response.read() ``` 3. **处理Cookies**： 对于需要登录验证或维持会话状态的网站，需要处理Cookies。`cookielib`模块提供了`HTTPCookieProcessor`和`CookieJar`类，可以方便地处理和存储HTTP Cookies。 ```python import urllib2, cookielib cookie_support = urllib2.HTTPCookieProcessor(cookielib.CookieJar()) opener = urllib2.build_opener(cookie_support) urllib2.install_opener(opener) content = urllib2.urlopen('http://XXXX').read() ``` 4. **伪装成浏览器**： 为了避免被服务器识别为爬虫而拒绝请求，可以设置`User-Agent`和其他相关header。例如，设置`User-Agent`为常见浏览器的标识： ```python import urllib2 headers = {'User-Agent':'Mozilla/5.0(Windows;U;WindowsNT6.1;en-US;rv:1.9.1.6)Gecko/20091201 Firefox/3.5.6'} request = urllib2.Request(url = 'http://my.oschina.net/jhao104/blog?catalog=3463517', headers=headers) print urllib2.urlopen(request).read() ``` 5. **处理登录和表单提交**： 对于需要登录才能访问的网站，可以通过模拟表单提交进行登录。`Mechanize`或`Selenium`库是很好的选择，它们可以模拟浏览器的行为，包括点击按钮、填写表单等。 6. **解析HTML和XML**： `BeautifulSoup`库是Python中常用的HTML和XML解析器，可以方便地提取和修改页面元素。 7. **处理JavaScript**： 当页面使用JavaScript动态加载内容时，`Selenium`库可以驱动真实或模拟浏览器执行JavaScript，从而获取动态加载的数据。 8. **处理反爬策略**： 遇到验证码、动态IP限制、滑动验证等反爬策略，可以使用OCR技术识别验证码，使用代理IP池避免IP被封，或者使用`Scrapy`框架的中间件来处理复杂的反爬策略。 9. **异步爬虫**： 使用`asyncio`和`aiohttp`库可以实现异步爬虫，提高爬虫效率，减少网络等待时间。 10. **数据存储和清洗**： 爬取的数据通常需要存储，可以使用`pandas`库进行数据清洗和分析，再通过`csv`、`json`或数据库（如SQLite、MySQL）进行持久化存储。 通过掌握以上技巧，开发者可以在Python爬虫项目中更高效地抓取、处理和存储网络数据。但请注意，在进行网络爬虫时，应遵循相关法律法规，尊重网站的robots.txt文件，并合理控制爬取频率，以免对目标网站造成过大负担。