scrapy设置代理ip池：爬虫IP池搭建指南

手把手教你用Scrapy搭建高可用代理ip池

在网络数据采集过程中，很多开发者都遇到过IP被封禁的困扰。使用代理ip池不仅能有效避免这个问题，还能提升数据采集效率。作为国内专业代理服务商，神龙IP针对不同技术场景提供了完整的解决方案。本文将重点演示如何基于Scrapy框架，利用神龙IP服务搭建稳定可靠的代理IP池。

前期环境准备

首先确保已安装Python3.6+和Scrapy框架。建议使用virtualenv创建独立环境，避免依赖冲突。在项目目录下新建middlewares.py文件，这是编写代理中间件的关键文件。

需要特别注意的是，神龙IP支持SOCKS5和HTTP(S)等多种协议，在Scrapy中建议优先使用HTTP协议。如果目标网站有加密需求，可采用神龙IP的L2TP协议建立加密通道。

获取代理IP资源

登录神龙IP客户端（支持Windows/安卓系统），在软件设置中找到API调用地址。这里会获得类似http://api.shenlongip.com/getip的接口地址，通过定时请求该接口即可获取最新IP列表。

推荐使用以下代码片段管理IP资源池： ```python import requests from scrapy.exceptions import NotConfigured class ProxyPool: def __init__(self, api_url): self.api = api_url self._refresh_interval = 600 10分钟更新 def get_proxies(self): try: resp = requests.get(self.api, timeout=15) return [f"http://{ip}" for ip in resp.text.splitlines()] except Exception as e: print(f"获取代理失败: {str(e)}") ```

Scrapy中间件配置

在middlewares.py中创建代理中间件类，核心是process_request方法： ```python class ShenlongProxyMiddleware: def __init__(self, pool): self.pool = pool self.proxies = [] @classmethod def from_crawler(cls, crawler): api_url = crawler.settings.get('SHENLONG_API') if not api_url: raise NotConfigured return cls(ProxyPool(api_url)) def process_request(self, request, spider): if not self.proxies: self.proxies = self.pool.get_proxies() request.meta['proxy'] = random.choice(self.proxies) ```

在settings.py中启用中间件并配置参数： ```python DOWNLOADER_MIDDLEWARES = { 'your_project.middlewares.ShenlongProxyMiddleware': 543, } SHENLONG_API = '你的API接口地址' ```