requests的ip代理：Python爬虫必备技能，代码实战演示

为什么爬虫需要代理IP？

在做网络数据采集时，很多网站会对频繁访问的IP地址进行限制。如果你的请求过于集中，服务器可能会暂时封禁你的IP，导致无法继续工作。这时候，代理IP就派上了用场。

代理IP相当于一个中间人，你的请求先发送到代理服务器，再由代理服务器转发给目标网站。目标网站看到的是代理服务器的IP，而不是你的真实IP，这样就避免了因频繁访问而被限制的问题。

使用代理IP不仅能提高爬虫的稳定性，还能模拟不同地区的用户访问，获取更全面的数据。特别是对于需要长期运行的数据采集任务，合理使用代理IP是保证项目顺利进行的关键。

requests库基础代理设置

Python的requests库是爬虫最常用的HTTP库，设置代理非常简单。只需要在请求时传入proxies参数即可。

基本的代理设置格式如下：

import requests

proxies = {
    'http': 'http://用户名:密码@代理服务器地址:端口',
    'https': 'https://用户名:密码@代理服务器地址:端口'
}

response = requests.get('目标网址', proxies=proxies)

如果你的代理服务器不需要认证，可以省略用户名和密码部分：

proxies = {
    'http': 'http://代理服务器地址:端口',
    'https': 'https://代理服务器地址:端口'
}

在实际使用中，建议同时设置http和https两种协议的代理，确保所有请求都能正常通过代理。

神龙IP代理的使用方法

神龙IP代理提供了稳定的代理服务，特别适合爬虫项目使用。下面以神龙IP代理为例，演示如何在实际项目中集成代理IP。

你需要获取神龙IP代理的服务器信息：

import requests
import time

 神龙IP代理配置
shenlong_proxies = {
    'http': 'http://你的用户名:你的密码@代理服务器地址:端口',
    'https': 'https://你的用户名:你的密码@代理服务器地址:端口'
}

def make_request_with_retry(url, max_retries=3):
    for attempt in range(max_retries):
        try:
            response = requests.get(url, proxies=shenlong_proxies, timeout=10)
            if response.status_code == 200:
                return response
            else:
                print(f"请求失败，状态码：{response.status_code}")
        except Exception as e:
            print(f"第{attempt + 1}次请求失败：{str(e)}")
            time.sleep(2)   失败后等待2秒再重试
    
    return None

 使用示例
result = make_request_with_retry('目标网址')
if result:
    print("请求成功")
     处理返回的数据

神龙IP代理的优势在于覆盖范围广，拥有200+城市精准定位和1000万+纯净绿色IP，能够满足不同地区的访问需求。

代理IP轮换策略

对于长时间运行的爬虫项目，单一代理IP可能不够用。我们需要实现IP轮换机制，让爬虫自动切换不同的代理IP。

下面是一个简单的IP池轮换示例：

import requests
import random

class IPPool:
    def __init__(self):
        self.ip_list = [
            {'http': 'http://用户1:密码1@服务器1:端口', 'https': 'https://用户1:密码1@服务器1:端口'},
            {'http': 'http://用户2:密码2@服务器2:端口', 'https': 'https://用户2:密码2@服务器2:端口'},
             可以添加更多代理IP配置
        ]
        self.current_index = 0
    
    def get_proxy(self):
        """获取当前代理"""
        return self.ip_list[self.current_index]
    
    def switch_proxy(self):
        """切换到下一个代理"""
        self.current_index = (self.current_index + 1) % len(self.ip_list)
        print(f"已切换到第{self.current_index + 1}个代理IP")
    
    def random_proxy(self):
        """随机选择一个代理"""
        self.current_index = random.randint(0, len(self.ip_list) - 1)
        return self.get_proxy()

 使用IP池进行请求
ip_pool = IPPool()

for page in range(1, 11):   模拟翻页请求
    try:
        proxy = ip_pool.get_proxy()
        response = requests.get(f'目标网址?page={page}', proxies=proxy, timeout=10)
        
        if response.status_code == 200:
            print(f"第{page}页请求成功")
             处理数据...
        else:
            print(f"第{page}页请求失败，切换代理")
            ip_pool.switch_proxy()
            
    except Exception as e:
        print(f"请求异常：{str(e)}，切换代理")
        ip_pool.switch_proxy()
    
    time.sleep(1)   每次请求间隔1秒

神龙IP代理的动态高级套餐特别适合这种场景，日更200万+IP可以自由使用，支持灵活控制IP存活时间。

错误处理与超时设置

使用代理IP时，网络环境更加复杂，良好的错误处理机制至关重要。

常见的代理相关错误包括：

代理服务器连接超时
代理认证失败
代理服务器无响应
目标网站检测到代理使用

完善的错误处理代码示例：

import requests
from requests.exceptions import ProxyError, ConnectTimeout, ConnectionError

def safe_request(url, proxies, timeout=15):
    """
    安全的请求函数，包含完整的错误处理
    """
    try:
        response = requests.get(url, proxies=proxies, timeout=timeout)
        
         检查HTTP状态码
        if response.status_code == 200:
            return response
        elif response.status_code == 403:
            print("访问被拒绝，可能是IP被限制")
            return None
        elif response.status_code == 429:
            print("请求过于频繁，需要降低频率")
            return None
        else:
            print(f"HTTP错误：{response.status_code}")
            return None
            
    except ProxyError as e:
        print(f"代理错误：{str(e)}")
        return None
    except ConnectTimeout as e:
        print(f"连接超时：{str(e)}")
        return None
    except ConnectionError as e:
        print(f"连接错误：{str(e)}")
        return None
    except Exception as e:
        print(f"未知错误：{str(e)}")
        return None

 使用示例
proxy = {'http': 'http://代理服务器:端口', 'https': 'https://代理服务器:端口'}
result = safe_request('目标网址', proxy)

if result:
    print("请求成功")
else:
    print("请求失败，需要更换代理或检查网络")

神龙IP代理套餐选择指南

根据不同的使用场景，神龙IP代理提供了多种套餐选择：

套餐类型	适用场景	带宽	IP时效
动态高级套餐	需要频繁更换IP的业务场景	6Mbps	2-360小时
动态独享套餐	对带宽要求较高的业务	10Mbps	2-360小时
静态高级套餐	需要IP长期固定的业务	6Mbps	长期稳定