Scrapy设置下载延时和自动限速

最新推荐文章于 2025-06-24 13:49:50 发布

置顶小帆芽芽

最新推荐文章于 2025-06-24 13:49:50 发布

阅读量5.6k

点赞数 5

CC 4.0 BY-SA版权

分类专栏： scrapy 文章标签： python

本文链接：https://blog.csdn.net/m0_49501453/article/details/120195672

scrapy 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍如何在Scrapy中设置下载延时以避免IP封禁，包括静态延时和随机延时策略，并探讨了自动限速扩展的配置，如AUTOTHROTTLE模块，以实现更灵活的并发控制和性能优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scrapy设置下载延时和自动限速

DOWNLOAD_DELAY 在settings.py文件中设置

#延时2秒，不能动态改变，时间间隔固定，容易被发现，导致ip被封
DOWNLOAD_DELAY=2

RANDOMIZE_DOWNLOAD_DELAY 在settings.py文件中设置

# 启用后，当从相同的网站获取数据时，Scrapy将会等待一个随机的值，延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY
RANDOMIZE_DOWNLOAD_DELAY=True

自动限速扩展在settings.py中配置

AUTOTHROTTLE_ENABLED #默认为False，设置为True可以启用该扩展
AUTOTHROTTLE_START_DELAY #初始下载延迟，单位为秒，默认为5.0
AUTOTHROTTLE_MAX_DELAY #设置在高延迟情况下的下载延迟，单位为秒，默认为60
AUTOTHROTTLE_DEBUG #用于启动Debug模式，默认为False
CONCURRENT_REQUESTS_PER_DOMAIN #对单个网站进行并发请求的最大值，默认为8
CONCURENT_REQUESTS_PER_IP #对单个IP进行并发请求的最大值，如果非0,则忽略CONCURRENT_REQUESTS_PER_DOMAIN设定，使用该IP限制设定。