scrapy爬取IP池

### 使用 Scrapy 进行网页抓取时更换 IP 的方法 当遇到目标网站的反爬机制，特别是频繁出现 403 错误码的情况时，可以考虑使用代理 IP 来绕过这些限制。对于 Scrapy 框架而言，可以通过配置中间件来实现动态更换 IP 地址的功能。 #### 配置代理中间件 为了使 Scrapy 支持代理功能，在项目的 `settings.py` 文件中启用 HTTP(S) Proxy 中间件： ```python DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None, 'myproject.middlewares.RandomHttpProxyMiddleware': 750, # 自定义中间件优先级设置为750 } ``` 创建自定义中间件文件 `random_http_proxy_middleware.py` 并编写如下代码片段用于随机选取可用代理服务器列表中的一个作为本次请求使用的代理服务[^1]。 ```python import random class RandomHttpProxyMiddleware(object): def __init__(self, proxies): self.proxies = proxies @classmethod def from_crawler(cls, crawler): settings = crawler.settings return cls(settings.getlist('HTTP_PROXY_LIST')) def process_request(self, request, spider): proxy_address = random.choice(self.proxies) request.meta['proxy'] = proxy_address ``` 在项目根目录下的 `settings.py` 添加代理池配置项以便于后续调用: ```python HTTP_PROXY_LIST = [ "http://xxx.xxx.xx.x:xxxx", "https://xx.xx.xx.xx:8080", ... ] ``` 以上操作完成后重启 Spider 即可让其每次发起新请求前都从预设好的代理池里挑选出一个新的 IP 地址来进行访问[^2]。 此外还可以利用第三方付费 API 提供商所提供的无限量高质量匿名代理资源进一步提升数据采集效率与成功率[^3]。

### 使用 Scrapy 爬取电影天堂网站的数据并保存到数据库 为了完成这一任务，需要按照以下方式设计和配置 Scrapy 项目。以下是详细的说明： #### 1. 定义数据模型 (Items) 在 `items.py` 文件中定义爬取的目标字段。这些字段将映射到最终存储到数据库中的结构。 ```python import scrapy class MovieItem(scrapy.Item): title = scrapy.Field() # 电影标题 release_date = scrapy.Field() # 上映日期 detail_url = scrapy.Field() # 详情页 URL download_link = scrapy.Field() # 下载链接 thunder_download_link = scrapy.Field() # 迅雷下载链接 ``` 此部分定义了爬虫提取的核心字段[^1]。 --- #### 2. 配置 Spider 创建一个新的 Spider 来指定爬取逻辑。假设目标网址为 http://www.dytt8.net/，可以通过以下代码实现基本功能。 ```python import scrapy from ..items import MovieItem class DyttSpider(scrapy.Spider): name = "dytt" allowed_domains = ["www.dytt8.net"] start_urls = [ "http://www.dytt8.net/html/gndy/dyzz/index.html", # 最新电影页面 ] def parse(self, response): movie_links = response.css("a.ulink::attr(href)").getall() for link in movie_links: yield response.follow(link, self.parse_movie) def parse_movie(self, response): item = MovieItem() item['title'] = response.xpath('//div[@class="title_all"]/h1/font/text()').get().strip() item['release_date'] = response.xpath('//div[@id="Zoom"]/p/text()[contains(.,"上映")]/text()').re_first(r'(\d{4}年\d{1,2}月\d{1,2}日)') item['detail_url'] = response.url item['download_link'] = response.xpath('//td/a[contains(text(),"ftp:")]/@href').get() item['thunder_download_link'] = response.xpath('//td/a[contains(text(),"迅雷")]/@href').get() yield item ``` 这段代码实现了两个主要解析函数：一个是用于获取每部电影的详情页链接 (`parse`)；另一个是从详情页中提取具体信息 (`parse_movie`)[^3]。 --- #### 3. 数据管道 (Pipelines) 通过自定义 Pipeline 将提取的数据存入 MySQL 或 SQLite 数据库。 ##### 示例：MySQL 数据库存储 编辑 `pipelines.py` 文件如下所示： ```python import mysql.connector class MysqlPipeline(object): def __init__(self): self.conn = mysql.connector.connect( host='localhost', user='root', password='password', # 替换为实际密码 database='movies' ) self.cursor = self.conn.cursor() self.create_table_if_not_exists() def create_table_if_not_exists(self): self.cursor.execute(''' CREATE TABLE IF NOT EXISTS movies ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), release_date DATE, detail_url TEXT, download_link TEXT, thunder_download_link TEXT ); ''') def process_item(self, item, spider): insert_query = ''' INSERT INTO movies (title, release_date, detail_url, download_link, thunder_download_link) VALUES (%s, %s, %s, %s, %s); ''' values = ( item['title'], item['release_date'], item['detail_url'], item['download_link'], item['thunder_download_link'] ) try: self.cursor.execute(insert_query, values) self.conn.commit() except Exception as e: self.conn.rollback() raise e return item def close_spider(self, spider): self.cursor.close() self.conn.close() ``` 在此处，我们连接到了本地 MySQL 数据库并将数据插入名为 `movies` 的表中[^4]。 --- #### 4. 启用 Pipelines 和设置项 修改 `settings.py` 文件以启用刚刚编写的 Pipeline 并调整其他必要选项。 ```python ITEM_PIPELINES = { 'your_project_name.pipelines.MysqlPipeline': 300, } ROBOTSTXT_OBEY = False # 如果目标站点不允许爬虫，则需关闭 ROBOTS 协议遵循 DOWNLOAD_DELAY = 1 # 控制请求频率，防止被封禁 IP 地址 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' ``` 以上设置了数据管道优先级、机器人协议忽略状态以及其他性能优化参数[^2]。 --- #### 5. 执行爬虫 最后，在终端运行命令启动爬虫： ```bash scrapy crawl dytt ``` 这会触发整个流程，从初始页面抓取数据直到将其持久化至数据库为止。 --- ###