代理ip对爬虫的重要性，做过采集的人才懂：稳得住就是生产力

凌晨两点救不回来的采集任务，我至今记得

先讲个我自己踩过的坑。去年接了一个比价数据的活，三百万条记录，客户给的周期是一周。脚本写得没毛病，前两天跑得也顺，每天能落库四十多万条。第三天夜里，成功率突然从 98% 掉到 12%，日志里全是超时和验证码页面的返回。

我爬起来排查了两个小时：代码没动过，目标站也没改版，最后发现问题出在出口IP上——同一个IP连续两天高频访问，被对方风控标记了。那一晚我彻底想明白一件事：做采集这个活，脚本只占一半，另一半在IP上。

单IP硬跑，为什么迟早出事

换个角度想，你是目标网站的管理员，会怎么防采集？最省事的办法就是盯着访问频率。一个真人逛页面，一分钟撑死点开十几下；而一个脚本，一秒钟就能请求几十次，这种"非人类节奏"太好认了。

风控的逻辑不复杂：先统计每个IP的请求频率，超过阈值就限速，继续跑就弹验证码，再跑就干脆不响应。更麻烦的是，IP一旦被记上一笔，信誉就掉了，之后哪怕你把频率降到正常水平，对方也会用更严的标准对待你。这就是为什么很多人感觉"越跑越慢、越跑越容易被拦"——不是错觉，是这个IP的信用在贬值。

所以做采集，IP资源不是可选项。你得有一批干净的IP可用，让每个IP的访问量都控制在安全线以内，一个被标记了就取一个新IP顶上，任务不断线。

代理IP不是有就行，质量分三六九等

入行早的人多半用过免费代理。我的评价是：拿来练手可以，跑正经任务就是灾难。我测过一批免费IP，两百个里能连通的不到三成，连通的平均响应超过两秒，跑十分钟掉一半。用这种IP跑任务，你的重试逻辑会写得比业务代码还长。

付费代理同样分档次，差距主要看四个硬指标：

对比项	免费代理	劣质付费池	优质IP资源
请求成功率	三成不到	忽高忽低	长期稳定高位
平均响应	两秒起步	经常超时	30ms级别
IP纯净度	被用烂的多	来源不明	自营机房把控
维护成本	天天筛IP	重试逻辑复杂	失败自动补新IP

拿我现在在用的神龙IP来说，选它主要看中两点。一是日更200万+的动态IP池：我用的动态高级套餐，时效可以按任务设，短到2小时、长到360小时都行，跑短任务用短时效，跑长任务就锁住一批IP慢慢用。二是自营机房，IP来源自己把控，纯净度有底，配上30ms级的响应速度，脚本跑起来几乎没有空转等待的时候。

这两点看着不起眼，落到任务上差别巨大：IP新，被标记的概率就低；响应快，同样的时间就能多跑几轮，浪费在重试上的算力也少。

手把手：把代理接进你的采集脚本

道理讲完了，上点能直接抄的代码。以 Python 为例，接入 SOCKS5 协议的代理只需要几行：

import requests

# 接入信息在服务商后台获取
proxy_url = "socks5://账号:密码@接入地址:端口"

proxies = {
    "http": proxy_url,
    "https": proxy_url,
}

resp = requests.get(
    "https://目标站点域名/data/list?page=1",
    proxies=proxies,
    timeout=10
)
print(resp.status_code)

用之前装一个依赖：pip install requests[socks]。如果走 HTTP 代理，把协议头换成 http:// 就行，其余不变。

光能跑还不够，想稳定跑还得加两层保险。第一层是超时加重试，网络抖动是常态，别让一个请求卡死整个队列：

import time

def fetch(url, proxies, retries=3):
    for i in range(retries):
        try:
            resp = requests.get(url, proxies=proxies, timeout=10)
            if resp.status_code == 200:
                return resp.text
        except Exception:
            # 指数退避：等2秒、4秒、8秒再试
            time.sleep(2 ** i)
    return None

第二层是失败后自动获取新IP。一个IP连续失败，说明它大概率被盯上了，别恋战，从IP池里取一个新IP替换进来，任务接着跑。把这一步写进脚本，基本就能做到整夜挂机不用管。

最后提醒一句：接了代理不等于可以放飞频率。并发从低往高慢慢加，盯住成功率的拐点，找到那个"既快又不触发风控"的平衡位置——这才是老手和新手真正的差距。