Selenium自动化测试如何结合代理IP解决IP限制？

爱睡觉的圈圈

于 2025-06-03 16:14:11 发布

阅读量1.2k

点赞数 25

CC 4.0 BY-SA版权

分类专栏：代理服务文章标签： selenium tcp/ip 测试工具 python

本文链接：https://blog.csdn.net/2504_92236314/article/details/148403991

代理服务专栏收录该内容

14 篇文章

订阅专栏

好的，作为一名熟悉IP代理产品和开发的资深程序员，很高兴与你分享如何在Selenium自动化测试中结合代理IP来解决IP限制的问题。

IP限制是自动化测试（尤其是Web抓取或大规模UI测试）中常见的痛点。目标网站可能会因为检测到来自同一IP的大量快速请求而暂时或永久封禁该IP。使用代理IP可以有效地解决这个问题。

下面我将详细介绍几种在Selenium中设置代理IP的方法，并提供代码示例和最佳实践。

Selenium自动化测试结合代理IP解决IP限制

为什么需要代理IP？

绕过IP封锁：目标网站检测到异常流量（如短时间内大量请求）时，可能会封锁来源IP。
模拟不同地理位置：测试网站在不同地区的功能和内容展示。
并发测试：使用不同IP同时运行多个测试实例，提高测试效率而不被限制。
隐藏真实IP：保护测试服务器的真实IP地址。

准备工作

Selenium库：确保已安装 selenium。
```
pip install selenium
```
WebDriver：下载与你浏览器版本对应的WebDriver（如ChromeDriver, GeckoDriver等），并确保它在系统路径中或在代码中指定路径。
代理IP资源：你需要一个或多个可用的代理IP。代理IP有多种类型：
- HTTP/HTTPS代理：最常见，易于配置。
- SOCKS代理 (SOCKS4/SOCKS5)：支持更广泛的协议，匿名性更好。
- 代理IP可以是免费的（通常不稳定且速度慢）或付费的（更可靠）。付费代理通常提供API来获取代理列表，并支持用户名密码认证。

在Selenium中配置代理IP的方法

Selenium本身不直接处理网络请求的代理，它通过配置WebDriver启动时的浏览器参数来实现。

方法一：针对Chrome浏览器 (ChromeOptions)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# --- HTTP/HTTPS 代理 ---
PROXY_HOST = "your_proxy_host"  # 例如: 123.45.67.89
PROXY_PORT = "your_proxy_port"  # 例如: 8080
PROXY_USER = "your_proxy_username" # 可选
PROXY_PASS = "your_proxy_password" # 可选

chrome_options = Options()

# 1. HTTP/HTTPS 代理 (无认证)
# chrome_options.add_argument(f'--proxy-server=http://{PROXY_HOST}:{PROXY_PORT}')

# 2. HTTP/HTTPS 代理 (带认证)
# 注意：Selenium直接通过这种方式设置带认证的HTTP/HTTPS代理比较麻烦，
# 通常需要浏览器扩展或更底层的代理设置。
# 一个常见的解决方法是使用中间件代理或配置支持这种格式的代理服务器：
# chrome_options.add_argument(f'--proxy-server=http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}')
# 然而，更可靠的方法是使用代理扩展，或者使用SOCKS代理（如果代理服务支持）。

# 3. SOCKS5 代理 (推荐，如果你的代理支持)
# chrome_options.add_argument(f'--proxy-server=socks5://{PROXY_HOST}:{PROXY_PORT}')

# 4. SOCKS5 代理 (带认证)
# chrome_options.add_argument(f'--proxy-server=socks5://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}')
# 对于SOCKS认证，有时需要更通用的方法，见下面的 `selenium.webdriver.Proxy` 方式。

# --- 更通用的代理配置方式 (使用 selenium.webdriver.Proxy) ---
# 这种方式对认证支持更好，尤其是SOCKS
proxy = webdriver.Proxy()

# HTTP/HTTPS 代理 (无认证)
# proxy.http_proxy = f"{PROXY_HOST}:{PROXY_PORT}"
# proxy.ssl_proxy = f"{PROXY_HOST}:{PROXY_PORT}" # 如果HTTPS也走这个代理

# HTTP/HTTPS 代理 (带认证) - 格式 user:pass@host:port
# proxy.http_proxy = f"{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
# proxy.ssl_proxy = f"{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"

# SOCKS5 代理 (无认证)
# proxy.socks_proxy = f"{PROXY_HOST}:{PROXY_PORT}"
# proxy.socks_version = 5 # 重要

# SOCKS5 代理 (带认证)
proxy.socks_proxy = f"{PROXY_HOST}:{PROXY_PORT}"
proxy.socks_username = PROXY_USER
proxy.socks_password = PROXY_PASS
proxy.socks_version = 5 # 重要

# 将代理能力添加到 ChromeOptions
# chrome_options.capabilities.update(proxy.to_capabilities()) # 旧版写法
proxy.add_to_capabilities(chrome_options.capabilities) # 新版写法

# 其他常用选项
chrome_options.add_argument("--headless") # 无头模式 (可选)
chrome_options.add_argument("--disable-gpu") # 禁用GPU加速 (无头模式下推荐)
chrome_options.add_argument("--no-sandbox") # 解决DevToolsActivePort文件不存在的报错
chrome_options.add_argument("--disable-dev-shm-usage") # 大量渲染时避免崩溃
chrome_options.add_argument("user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'") # 设置User-Agent

# 初始化WebDriver
driver = webdriver.Chrome(options=chrome_options)

# 验证代理是否生效 (访问一个显示IP的网站)
try:
    driver.get("http://httpbin.org/ip")
    print("Response from httpbin.org/ip:")
    print(driver.page_source)

    driver.get("https://httpbin.org/ip") # 测试HTTPS
    print("Response from https://httpbin.org/ip:")
    print(driver.page_source)

except Exception as e:
    print(f"An error occurred: {e}")
finally:
    driver.quit()

方法二：针对Firefox浏览器 (FirefoxOptions)

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "your_proxy_host"
PROXY_PORT = int("your_proxy_port") # Firefox需要整数端口
PROXY_USER = "your_proxy_username" # 可选
PROXY_PASS = "your_proxy_password" # 可选

firefox_options = Options()

# Firefox 的代理配置通过 about:config 参数
firefox_options.set_preference("network.proxy.type", 1) # 1 表示手动配置代理

# HTTP/HTTPS 代理
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST) # HTTPS也走这个代理
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)

# SOCKS 代理 (如果代理是SOCKS类型)
# firefox_options.set_preference("network.proxy.socks", PROXY_HOST)
# firefox_options.set_preference("network.proxy.socks_port", PROXY_PORT)
# firefox_options.set_preference("network.proxy.socks_version", 5) # SOCKS5

# 对于带认证的代理，Firefox没有直接的 preference 设置用户名密码。
# 通常需要浏览器扩展（如 FoxyProxy）或使用支持在URL中嵌入认证信息的代理格式
# (如 user:pass@host:port)，但这取决于代理服务器和Firefox如何解析。
# 或者使用 `selenium.webdriver.Proxy` 类，它会尝试更通用的方式配置。

# --- 更通用的代理配置方式 (使用 selenium.webdriver.Proxy) ---
# proxy = webdriver.Proxy()
# proxy.proxy_type = webdriver.common.proxy.ProxyType.MANUAL # 手动配置

# HTTP/HTTPS 代理 (无认证)
# proxy.http_proxy = f"{PROXY_HOST}:{PROXY_PORT}"
# proxy.ssl_proxy = f"{PROXY_HOST}:{PROXY_PORT}"

# HTTP/HTTPS 代理 (带认证)
# proxy.http_proxy = f"{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
# proxy.ssl_proxy = f"{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"

# SOCKS5 代理 (无认证)
# proxy.socks_proxy = f"{PROXY_HOST}:{PROXY_PORT}"
# proxy.socks_version = 5

# SOCKS5 代理 (带认证)
# proxy.socks_proxy = f"{PROXY_HOST}:{PROXY_PORT}"
# proxy.socks_username = PROXY_USER
# proxy.socks_password = PROXY_PASS
# proxy.socks_version = 5

# proxy.add_to_capabilities(firefox_options.capabilities)


# 其他常用选项
# firefox_options.add_argument("--headless")

driver = webdriver.Firefox(options=firefox_options)

try:
    driver.get("http://httpbin.org/ip")
    print("Response from httpbin.org/ip:")
    print(driver.page_source)
except Exception as e:
    print(f"An error occurred: {e}")
finally:
    driver.quit()

注意：对于Firefox，通过set_preference直接设置带认证的代理比较棘手。使用selenium.webdriver.Proxy类通常是更好的选择，但其对Firefox的认证支持有时也不如Chrome直接。如果遇到问题，使用浏览器代理管理扩展（如FoxyProxy）并通过Selenium控制该扩展是更可靠的方案。

方法三：使用代理扩展 (例如 Chrome 的 Proxy SwitchyOmega 或 Firefox 的 FoxyProxy)

这种方法更灵活，特别是对于需要复杂规则或频繁切换代理的场景。

在浏览器中手动安装并配置好代理扩展。

在Selenium启动浏览器时，加载该配置好的用户配置文件。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
# 指定用户配置文件路径 (包含已配置好的代理扩展)
# 替换为你的Chrome用户数据目录路径
chrome_options.add_argument("user-data-dir=/path/to/your/chrome/profile")
# 可选：指定特定的Profile，如果你的user-data-dir下有多个Profile
# chrome_options.add_argument("profile-directory=Profile 1")

driver = webdriver.Chrome(options=chrome_options)
try:
    driver.get("http://httpbin.org/ip")
    print(driver.page_source)
finally:
    driver.quit()

这种方法的缺点是配置较为繁琐，且依赖于本地浏览器配置。

动态代理IP轮换

如果需要在一系列测试中轮换使用多个代理IP，可以这样做：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

PROXY_LIST = [
    {"host": "host1", "port": "port1", "user": "user1", "pass": "pass1"},
    {"host": "host2", "port": "port2"}, # 无认证
    {"host": "host3", "port": "port3", "user": "user3", "pass": "pass3", "type": "socks5"},
]

def get_driver_with_proxy(proxy_info):
    chrome_options = Options()
    # chrome_options.add_argument("--headless")
    
    proxy_obj = webdriver.Proxy()
    proxy_str = ""

    if proxy_info.get("type") == "socks5":
        proxy_str = f"{proxy_info['host']}:{proxy_info['port']}"
        proxy_obj.socks_proxy = proxy_str
        proxy_obj.socks_version = 5
        if proxy_info.get("user") and proxy_info.get("pass"):
            proxy_obj.socks_username = proxy_info["user"]
            proxy_obj.socks_password = proxy_info["pass"]
    else: # 默认为 HTTP/HTTPS
        proxy_str = f"{proxy_info['host']}:{proxy_info['port']}"
        if proxy_info.get("user") and proxy_info.get("pass"):
            proxy_str = f"{proxy_info['user']}:{proxy_info['pass']}@{proxy_str}"
        
        proxy_obj.http_proxy = proxy_str
        proxy_obj.ssl_proxy = proxy_str # 假设HTTPS也走这个代理

    proxy_obj.add_to_capabilities(chrome_options.capabilities)
    
    print(f"Attempting to use proxy: {proxy_str} (Type: {proxy_info.get('type', 'http')})")
    driver = webdriver.Chrome(options=chrome_options)
    return driver

urls_to_test = ["http://httpbin.org/ip", "https://ip.cn", "https://www.whatismyip.com/"]

for i, url in enumerate(urls_to_test):
    proxy_config = PROXY_LIST[i % len(PROXY_LIST)] # 轮换使用代理
    driver = None
    try:
        driver = get_driver_with_proxy(proxy_config)
        driver.get(url)
        print(f"Visited {url} using proxy {proxy_config['host']}:{proxy_config['port']}")
        print(f"Page title: {driver.title}")
        # 在这里添加你的测试断言
        time.sleep(2) # 等待页面加载或观察
    except Exception as e:
        print(f"Error with proxy {proxy_config['host']}:{proxy_config['port']} or URL {url}: {e}")
    finally:
        if driver:
            driver.quit()

最佳实践与注意事项

高质量代理源：选择稳定、速度快的付费代理服务，尤其是对于生产环境的自动化测试。
代理匿名度：了解代理的匿名级别（透明、普匿、高匿）。高匿代理能更好地隐藏你的真实IP。

User-Agent轮换：除了IP，网站也可能通过User-Agent来识别机器人。结合代理IP轮换User-Agent字符串，使请求看起来更像来自不同的真实用户。

user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...",
    # ... 更多 User-Agent
]
# 在 ChromeOptions 中设置
# import random
# chrome_options.add_argument(f"user-agent={random.choice(user_agents)}")

请求频率控制：即使使用代理，过于频繁的请求也可能触发目标网站的速率限制。在请求之间加入适当的延时 (time.sleep())。
异常处理：代理IP可能会失效。务必在代码中加入健壮的异常处理逻辑，例如，当一个代理失败时，自动切换到下一个。
验证代理有效性：在实际使用代理进行测试前，先访问如 http://httpbin.org/ip 或 https://api.ipify.org 这样的网站，检查代理是否按预期工作，以及显示的IP是否为代理IP。
遵守robots.txt：尊重网站的robots.txt文件，不要抓取禁止访问的路径。
法律与道德：确保你的自动化测试和数据抓取行为符合相关法律法规和网站的服务条款。