Python代理IP爬取数据：实战代码与案例分享

Python爬虫如何用代理ip突破访问限制

做数据采集的朋友都知道，目标网站反爬机制越来越严。上周有个做电商的朋友跟我吐槽，他们用Python爬商品信息时，连续被封了十几个IP。这种情况就得用代理ip服务来解决，今天咱们用神龙IP的产品为例，手把手教大家怎么在Python项目中实现IP自动切换。

代理IP的两种类型怎么选

市面上代理IP主要分动态ip和静态ip两种。动态IP适合需要高频切换的场景，比如每5分钟换一次IP；静态IP则适合需要长期稳定连接的场景。

对比项	动态IP	静态IP
适用场景	高频切换需求	长连接需求
连接方式	随机分配IP	固定ip地址
典型用途	数据采集	API接口调用

神龙IP同时支持这两种模式，而且提供SOCKS5和HTTP(S)等多种协议。这里要特别注意，有些网站会检测代理协议类型，建议优先选用SOCKS5协议，兼容性更好。

实战代码：三行代码接入代理

在Python中配置代理IP其实特别简单。以requests库为例，只需要在请求时添加proxies参数：

import requests

proxies = {
  'http': 'socks5://用户名:密码@gateway.shenlongip.com:端口',
  'https': 'socks5://用户名:密码@gateway.shenlongip.com:端口'
}

response = requests.get('目标网址', proxies=proxies)

这里有个小技巧：建议把代理配置单独写成函数，方便后续维护。比如这样：

def get_proxy():
    这里可以接入神龙IP的API获取新IP
   return {
      'http': f'socks5://{user}:{pwd}@新IP:端口',
      'https': f'socks5://{user}:{pwd}@新IP:端口'
   }

response = requests.get(url, proxies=get_proxy())