scrapy 融合selenium

Scrapy 抓取页面的方式和 requests 库类似，都是直接模拟 HTTP 请求，而 Scrapy 也不能抓取 JavaScript 动态渲染的页面。一种是分析 Ajax 请求，找到其对应的接口抓取，Scrapy 同样可以用此种方式抓取。另一种是直接用 Selenium 或 Splash 模拟浏览器进行抓取，我们不需要关心页面后台发生的请求，也不需要分析渲染过程，只需要关心页面最终结果即可，可见即可爬。那么，如果 Scrapy 可以对接 Selenium，那 Scrapy 就可以处理任何网站的抓取了。

scrapy对接selenium

之前使用selenium爬取了亚马逊相关网站，今天来讲讲如何发挥scrapy框架优势，将scrapy与selenium整合到一起。

新建工程

新建项目
首先新建项目，名为 scrapyseleniumtest，命令如下所示：

scrapy startproject scrapyselenium

进入创建好的项目目录
新建一个 Spider，命令如下所示：