python爬虫的ip代理池从0搭建：采集再也不怕被拦

很多搞数据采集的朋友经常会遇到一个头疼的问题：代码刚跑起来没一会儿，就返回403 Forbidden或者验证码页面。说白了，目标网站的反爬机制起作用了。当你用同一个IP地址高频地去请求别人的服务器时，很容易就会被识别出来并拉黑。这时候，搭建一个自己的IP代理池就显得尤为重要了。今天咱们就从零开始，手把手教你在Python爬虫里搭建一个实用的代理池，让你的采集工作畅通无阻。

为什么你的爬虫老是被拦？

其实道理很简单，这就好比你一个人一天之内去了同一家商店几百次，老板不怀疑你才怪。网站服务器也是一样的逻辑，同一个IP在短时间内发送大量请求，触发风控是迟早的事。想要解决这个问题，最直接的办法就是不要一直用你本机的真实IP去硬刚，而是通过代理IP去发起请求。每次请求换个不同的IP，网站服务器就会以为是有不同的用户在正常访问，自然就不会拦截你了。

自己找免费代理太费劲，怎么破？

很多新手一开始为了省钱，喜欢去网上找那些免费的代理IP。但实际用起来会发现，免费的东西不仅稳定性极差，存活率也低得可怜，可能找了一百个，真正能用的还不到两个。与其把时间浪费在验证免费IP上，不如直接接入靠谱的付费代理服务。

这里推荐大家使用神龙IP代理。作为一家专业的网络解决方案服务商，神龙IP拥有200+城市的精准定位和1000万+的纯净绿色IP资源。它采用自营机房纯净IP和先进的加密算法，不仅能做到高匿名，还能有效保护你的隐私安全。而且它的响应速度很快，能达到30ms响应，带宽支持6-15M定制，全天候保证流畅访问，非常适合用来做数据采集。

对比项	免费代理IP	神龙IP代理
IP存活率	很低，随时失效	高纯净度，稳定可靠
响应速度	慢，经常超时	30ms响应
匿名程度	多为透明代理，易被识别	安全高匿，保护隐私
适用场景	仅限简单测试	企业级数据采集、性能测试等

手把手教你写一个简易代理池

接下来咱们进入正题，用Python写一个简单的代理池。思路很简单：我们从代理服务商提供的接口获取一批代理IP，存到一个列表里，然后在发起请求时轮换使用。如果某个IP失效了，就把它从列表里踢出去。

import requests
import random
import time

class ProxyPool:
    def __init__(self, api_url):
         初始化时从接口拉取一批IP
        self.api_url = api_url
        self.proxies = self.fetch_proxies()

    def fetch_proxies(self):
        try:
             假设接口返回的是文本格式的IP:PORT，每行一个
            res = requests.get(self.api_url, timeout=5)
            proxy_list = res.text.strip().split('')
             格式化成requests需要的字典格式
            valid_proxies = []
            for p in proxy_list:
                if p:
                    valid_proxies.append({
                        "http": f"http://{p}",
                        "https": f"http://{p}"
                    })
            print(f"成功获取 {len(valid_proxies)} 个代理IP")
            return valid_proxies
        except Exception as e:
            print(f"获取代理失败: {e}")
            return []

    def get_random_proxy(self):
        if not self.proxies:
            return None
        return random.choice(self.proxies)

    def remove_bad_proxy(self, bad_proxy):
         请求失败时移除坏IP
        if bad_proxy in self.proxies:
            self.proxies.remove(bad_proxy)
            print(f"移除失效IP，当前剩余: {len(self.proxies)} 个")

 使用示例
if __name__ == '__main__':
     这里填入神龙IP代理提供给您的API提取链接
    api_link = "您的神龙IP提取链接"
    
    pool = ProxyPool(api_link)
    
    target_url = "https://www.example.com"
    
    for i in range(5):
        current_proxy = pool.get_random_proxy()
        if not current_proxy:
            print("代理池空了，正在重新获取...")
            pool.proxies = pool.fetch_proxies()
            continue
            
        try:
            response = requests.get(target_url, proxies=current_proxy, timeout=8)
            if response.status_code == 200:
                print(f"第 {i+1} 次请求成功，使用IP: {current_proxy['http']}")
            else:
                print(f"请求异常，状态码: {response.status_code}")
                pool.remove_bad_proxy(current_proxy)
        except Exception as e:
            print(f"请求超时或失败，移除该IP")
            pool.remove_bad_proxy(current_proxy)
            
        time.sleep(1)  适当休眠，礼貌采集