为什么你的爬虫总被“盯上”？
很多刚开始写爬虫的程序员都有过这样的经历：代码明明跑得好好的，突然就报错连不上，或者直接返回一堆验证码。这多半是因为你的访问频率过高，被目标网站识别为机器行为，从而限制了你的IP地址。一个有效的解决办法，就是使用代理IP，让你的请求看起来像是来自不同的、正常的用户。
简单来说，代理IP就是一个中间服务器。你的爬虫程序不再直接访问目标网站，而是先连接代理服务器，由代理服务器去访问目标网站，再把结果返回给你。这样，目标网站看到的是代理服务器的IP，而不是你的真实IP。通过不断更换代理IP，可以有效地分散请求，降低被封锁的风险。
核心第一步：获取可用的代理IP
使用代理IP的第一步，自然是找到可靠的IP来源。你可以选择从一些公开的免费网站上抓取，但这类IP的稳定性、速度和匿名性通常没有保障，更适合测试或学习。对于需要稳定运行的生产环境或商业项目，建议使用专业的代理IP服务商，比如神龙IP代理。
以神龙IP代理的动态高级套餐为例，它提供了海量的IP池，日更IP数量超过200万，并且允许你灵活设置IP的存活时间（从2小时到360小时不等）。这意味着你可以根据爬虫任务的节奏，动态地获取和使用新IP，非常适合需要高频请求、IP轮换的场景。其6Mbps的峰值带宽也能保证不错的数据抓取速度。
从服务商获取IP后，通常会得到一个API接口。通过调用这个接口，你就能拿到一个或多个格式为 ip:port 的代理地址。下面是一个模拟获取代理IP的Python示例：
import requests
def fetch_proxy_from_api(api_url):
"""
从代理服务商API获取代理IP
"""
try:
response = requests.get(api_url, timeout=10)
if response.status_code == 200:
假设API返回JSON格式：{"proxy": "1.2.3.4:8888"}
proxy_data = response.json()
proxy = proxy_data.get('proxy')
if proxy:
return proxy
except requests.RequestException as e:
print(f"获取代理IP失败：{e}")
return None
示例：使用神龙IP代理的API（此处为示例URL，请替换为实际API）
proxy_api = "你的神龙IP代理API链接"
proxy = fetch_proxy_from_api(proxy_api)
print(f"获取到的代理IP：{proxy}")
代码对接：让爬虫用上代理
拿到代理IP后，下一步就是把它集成到你的爬虫代码中。Python最常用的网络请求库 requests 和 aiohttp（异步）都支持代理设置，非常简单。
对于同步请求（requests）：
import requests
设置代理，格式为 '协议://IP:端口'
proxy = 'http://12.34.56.78:8080' 假设这是获取到的HTTP代理
proxies = {
'http': proxy,
'https': proxy, 通常HTTPS代理也使用相同的地址
}
try:
response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=15)
response.raise_for_status() 检查请求是否成功
print(f"通过代理访问，当前IP显示为：{response.json()['origin']}")
except requests.exceptions.ProxyError:
print("代理连接失败，可能IP已失效。")
except requests.exceptions.Timeout:
print("请求超时，请检查网络或代理速度。")
except Exception as e:
print(f"请求发生错误：{e}")
对于异步请求（aiohttp）：
import aiohttp
import asyncio
async def fetch_with_proxy(url, proxy):
connector = aiohttp.TCPConnector(ssl=False)
async with aiohttp.ClientSession(connector=connector) as session:
try:
async with session.get(url, proxy=proxy, timeout=aiohttp.ClientTimeout(total=15)) as response:
result = await response.json()
print(f"通过代理访问，当前IP显示为：{result['origin']}")
except (aiohttp.ClientProxyConnectionError, asyncio.TimeoutError):
print("代理连接失败或超时，可能IP已失效。")
except Exception as e:
print(f"请求发生错误：{e}")
使用示例
async def main():
proxy = 'http://12.34.56.78:8080'
await fetch_with_proxy('https://httpbin.org/ip', proxy)
运行异步函数
asyncio.run(main())
关键点在于，每次请求前，你都应该从IP池中取出一个新的代理IP替换上去，实现轮换。如果某个代理请求失败（超时或返回错误码），应立即将其标记为失效，并从池中剔除。
进阶方案：构建一个简单的代理IP池
手动管理单个代理IP非常麻烦。一个更专业的做法是构建一个本地的代理IP池。这个池子负责自动从服务商API获取IP、验证IP有效性、存储可用IP、并按策略分配IP给爬虫使用。
下面是一个极简版的代理池核心逻辑框架，它包含了存储、验证和获取三个基本功能：
import requests
import threading
import time
from queue import Queue
class SimpleProxyPool:
def __init__(self, api_url, check_url='https://httpbin.org/ip', max_proxies=50):
self.api_url = api_url 神龙IP代理的API地址
self.check_url = check_url 用于验证代理有效性的网址
self.max_proxies = max_proxies
self.valid_proxies = Queue() 存储可用代理的队列
self.lock = threading.Lock()
self.is_running = True
def fetch_proxies(self):
"""从API获取一批代理IP"""
try:
resp = requests.get(self.api_url, timeout=10).json()
假设API返回列表：["ip:port", "ip:port", ...]
proxy_list = resp.get('data', [])
return proxy_list
except:
return []
def validate_proxy(self, proxy):
"""验证单个代理是否有效"""
proxies = {'http': f'http://{proxy}', 'https': f'http://{proxy}'}
try:
resp = requests.get(self.check_url, proxies=proxies, timeout=10)
if resp.status_code == 200:
可以进一步检查返回的IP是否与代理IP一致
return True
except:
pass
return False
def replenish_pool(self):
"""补充池子中的代理IP"""
while self.is_running and self.valid_proxies.qsize() < self.max_proxies // 2:
new_proxies = self.fetch_proxies()
for proxy in new_proxies:
if self.validate_proxy(proxy):
with self.lock:
if self.valid_proxies.qsize() < self.max_proxies:
self.valid_proxies.put(proxy)
print(f"有效代理加入池中：{proxy}")
time.sleep(30) 每30秒尝试补充一次
def get_proxy(self):
"""从池中获取一个可用代理"""
if not self.valid_proxies.empty():
return self.valid_proxies.get()
return None
def return_proxy(self, proxy, is_valid=True):
"""将代理放回池中（如果仍有效）"""
if proxy and is_valid:
with self.lock:
self.valid_proxies.put(proxy)
def run(self):
"""启动后台补充线程"""
thread = threading.Thread(target=self.replenish_pool, daemon=True)
thread.start()
使用示例
if __name__ == '__main__':
pool = SimpleProxyPool(api_url="你的神龙IP代理API链接")
pool.run() 启动后台维护线程
爬虫任务中获取代理使用
for _ in range(10):
proxy = pool.get_proxy()
if proxy:
print(f"使用代理 {proxy} 进行请求...")
... 执行你的爬虫请求 ...
假设请求成功
pool.return_proxy(proxy, is_valid=True)
time.sleep(1)
这个简易池子会运行一个后台线程，定期检查并补充可用代理。你的爬虫只需调用 get_proxy() 方法获取IP，使用完毕后根据是否成功决定是否将IP还回池子。这避免了频繁调用API，也保证了IP的可用率。
常见问题与解答 (QA)
Q1: 我测试代理IP时发现能连通，但实际爬取目标网站时还是被屏蔽，这是为什么？
A1: 这可能有几个原因。你测试连通性的网站（如httpbin）可能很简单，而目标网站有更复杂的反爬机制（如JavaScript验证、Cookie跟踪等）。代理IP的匿名度不够高，目标网站仍然能检测出你在使用代理。即使IP不同，但你的请求头、行为模式（如固定时间间隔）过于规律，也容易被识别。建议使用高匿代理（如神龙IP代理的静态高级套餐，IP纯净度高），并配合随机User-Agent、请求延迟等策略。
Q2: 异步爬虫（如使用aiohttp）如何使用代理池？
A2: 异步爬虫对代理池的并发访问需要做线程安全处理。上面的简易池使用了线程锁和队列，在异步环境下可以直接使用 asyncio.Queue 替代 queue.Queue，并将补充代理、验证代理的逻辑也改为异步函数（使用 aiohttp 发起请求）。核心思想不变：一个独立的异步任务负责维护池子，多个爬虫协程从池中消费代理。
如何选择适合的代理IP服务？
不同的爬虫项目对代理IP的需求不同。选择时，可以关注以下几点：
- IP数量与更新频率： 对于大规模、持续的数据采集，需要像神龙IP代理动态高级套餐这样日更IP量巨大、支持短时效灵活切换的服务，确保有源源不断的新IP可用。
- IP质量与稳定性： 对于需要长期维持会话或访问对IP要求严格的网站，稳定不变的静态高级套餐是更好的选择，它能提供长期固定、高纯净度的IP。
- 协议与带宽支持： 确认服务商支持你需要的协议（HTTP/HTTPS/SOCKS5）。带宽则直接影响抓取速度，神龙IP代理提供6-15Mbps可定制的带宽，能满足大部分场景需求。
- 管理与易用性： 好的API接口和详细的文档能极大节省开发时间。服务商是否提供实时IP可用率、延迟等监控数据也很重要。
将代理IP与爬虫结合，并加以池化管理，是提升爬虫稳健性和效率的关键一步。从简单的代码对接开始，逐步构建自己的代理管理模块，你的爬虫就能更从容地应对各种复杂的网络环境。
