为什么需要设置IP代理？
在日常开发中，我们写的爬虫或者数据采集脚本，有时会突然无法访问目标网站，或者访问速度变得极慢。这很可能是因为你的请求过于频繁，被对方服务器识别为异常流量，从而暂时限制了你的IP地址。这种情况下，一个简单有效的解决办法就是使用IP代理。通过代理IP，你可以让请求从不同的IP地址发出，从而分散请求压力，模拟更自然的访问行为，保证程序的稳定运行和数据采集的连续性。
Python设置代理的几种常用方法
在Python中，为你的网络请求设置代理非常方便，不同的请求库方法略有不同，但核心思路都是将代理服务器的地址和端口信息传递给请求库。下面介绍几种主流库的设置方式。
使用requests库设置代理
requests是Python中最流行的HTTP库，设置代理只需要在请求方法中传入一个proxies参数即可。这个参数是一个字典，键为协议（如http, https），值为代理服务器的地址。
import requests
假设你从神龙IP代理获取到的代理地址是 1.2.3.4，端口是 8080
proxies = {
'http': 'http://1.2.3.4:8080',
'https': 'http://1.2.3.4:8080', 注意，很多HTTP代理也同时支持HTTPS流量
}
try:
response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
print(response.json()) 这里会显示代理服务器的IP，而不是你本机的IP
except Exception as e:
print(f"请求失败: {e}")
如果你的代理服务器需要认证（有用户名和密码），可以将代理地址写成如下格式：'http://username:password@1.2.3.4:8080'。
使用urllib库设置代理
Python标准库urllib也可以方便地设置代理。通过创建一个ProxyHandler对象，并将其传入build_opener函数即可。
from urllib.request import ProxyHandler, build_opener, Request
设置代理
proxy_handler = ProxyHandler({
'http': 'http://1.2.3.4:8080',
'https': 'http://1.2.3.4:8080',
})
opener = build_opener(proxy_handler)
使用配置了代理的opener发起请求
req = Request('http://httpbin.org/ip')
response = opener.open(req)
print(response.read().decode())
使用Selenium设置代理
当你需要模拟浏览器行为时，Selenium是得力工具。为Selenium控制的浏览器设置代理，需要在浏览器启动选项（Options）中添加代理参数。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
添加代理服务器地址和端口
chrome_options.add_argument('--proxy-server=http://1.2.3.4:8080')
如果需要认证，可以配合插件或者使用带认证的代理格式（更复杂一些）
启动浏览器
driver = webdriver.Chrome(options=chrome_options)
driver.get("http://httpbin.org/ip")
页面会显示当前使用的IP地址
print(driver.page_source)
driver.quit()
如何选择和管理代理IP？
手动维护一个代理IP列表既繁琐又低效。一个稳定可靠的代理IP服务能极大提升开发效率。在选择时，可以关注以下几点：
- IP质量与纯净度：IP是否被目标网站广泛封禁，直接影响成功率。自营机房的IP通常纯净度更高。
- 稳定性与速度：代理服务器的响应延迟和带宽直接影响你的程序效率。
- 管理与易用性：是否提供便捷的API接口来获取IP，方便在代码中动态切换。
- 协议支持：是否支持HTTP(S)、SOCKS5等多种协议，以适应不同的编程场景。
以神龙IP代理为例，其提供的动态高级套餐，日更200万+IP资源，用户可以根据业务需求灵活控制IP存活时间（2-360小时），非常适合需要频繁更换IP、进行大量请求的业务场景。其6Mbps的峰值带宽和30ms级的响应速度，能有效保障数据采集或测试任务的流畅进行。
实战技巧：实现代理IP池与自动切换
对于需要长时间运行的任务，单一代理IP可能不够用。一个更健壮的做法是构建一个代理IP池，并实现IP失效时的自动切换。
import requests
import random
import time
class ProxyPool:
def __init__(self, proxy_list):
"""初始化，传入一个代理IP列表"""
self.proxies = proxy_list
self.current_proxy = None
def get_random_proxy(self):
"""随机获取一个代理"""
return random.choice(self.proxies)
def test_proxy(self, proxy):
"""测试代理是否有效"""
test_url = 'http://httpbin.org/ip'
try:
resp = requests.get(test_url, proxies={'http': proxy, 'https': proxy}, timeout=5)
if resp.status_code == 200:
print(f"代理 {proxy} 测试通过，IP为: {resp.json()['origin']}")
return True
except:
pass
print(f"代理 {proxy} 测试失败，将从池中移除")
return False
def get_valid_proxy(self):
"""获取一个经过验证的有效代理"""
if self.current_proxy and self.test_proxy(self.current_proxy):
return self.current_proxy
当前代理无效，尝试寻找新的
for _ in range(len(self.proxies)):
proxy = self.get_random_proxy()
if self.test_proxy(proxy):
self.current_proxy = proxy
return proxy
raise Exception("代理池中无有效代理")
模拟从神龙IP代理API获取的IP列表（实际使用时请调用API接口获取）
proxy_list = [
'http://ip1:port1',
'http://ip2:port2',
... 更多IP
]
pool = ProxyPool(proxy_list)
for i in range(10):
try:
valid_proxy = pool.get_valid_proxy()
使用valid_proxy进行你的业务请求
response = requests.get(your_target_url, proxies={'http': valid_proxy, 'https': valid_proxy})
print(f"第{i+1}次请求，使用代理: {valid_proxy}")
time.sleep(2) 模拟请求间隔
except Exception as e:
print(f"请求出错: {e}")
break
这个简单的示例展示了代理池的核心思想：维护一个IP列表，定期验证IP有效性，并在请求时自动切换到可用的IP。在实际项目中，你可以将IP获取、验证、评分和淘汰机制做得更完善。
常见问题QA
Q1：设置了代理，但程序报错或无法连接，可能是什么原因？
A1：检查代理IP和端口是否填写正确。确认代理服务器本身是可达且可用的（可以用浏览器或curl命令测试）。检查你的网络环境是否允许访问该代理服务器的端口。如果你的代理需要用户名密码认证，请确保认证信息格式正确。使用像神龙IP代理这类服务时，通常会有详细的使用文档和测试工具，帮助快速排查问题。
Q2：我的程序需要高并发请求，使用代理IP有什么需要注意的？
A2：高并发场景下，切忌将所有并发请求都通过同一个代理IP发出，这极易导致该IP被目标服务器封禁。正确的做法是：
1. 准备足够数量的代理IP，形成一个较大的IP池。
2. 将并发请求均匀地分发到不同的代理IP上。
3. 控制单个IP的请求频率，添加合理的随机延时。
4. 选择带宽充足、连接稳定的代理服务。例如，神龙IP代理的动态独享套餐提供10Mbps峰值带宽，能更好地支撑高并发场景下的流量需求，保证请求的响应速度。
