前阵子有位做数据采集的朋友来找我,说他写了个代理池,里面的 IP 全是用脚本从公开源抓来的,程序里判断存活的办法就一句话——ping 一下,通了就留下。结果呢,任务跑起来满屏都是 407、连接被重置、返回内容一片空白。他一脸疑惑地问我:明明 ping 得通,怎么就活不了?
这个问题其实非常典型。“能连上”和“能干活”是两件完全不同的事。下面我把在 Java 里判断代理 IP 是否存活的三种做法都拆一遍,包括代码、参数、能判断什么、判断不了什么,最后给你一套可以直接拿去用的组合方案。
先对齐概念:什么叫代理 IP“存活”
一个代理 IP 要真正可用,至少要同时满足三层条件,任何一层断掉,业务侧的代码都会报错:
第一层是网络层通畅。你的机器能连上那个 IP 的端口,中间没有防火墙把你拦住。这一层用 Socket 建连就能测出来,速度快,但信息量最少。
第二层是代理协议层能握手。你发过去的请求,代理服务器认不认?账号密码对不对?协议类型(HTTP / SOCKS5)有没有搞混?很多 IP 端口是开着的,但它其实是个限速节点,或者需要认证而你没带凭证,照样用不了。
第三层是出口链路真能用。请求成功转发到目标站点,返回了你想要的数据,而且回显出来的出口地址符合你的预期。这一层最贴近真实业务,也最容易被忽略。
所以判断存活别偷懒,一层一层往下测,测到哪层断掉,你心里就有数了。
方式一:Socket 探端口,十毫秒出结果
这是最轻量的做法。不涉及任何 HTTP 协议细节,就是试着建立一条 TCP 连接,能连上就算通。
public static boolean isPortOpen(String host, int port, int timeoutMs) {
try (Socket socket = new Socket()) {
// 关键点:一定要给 connect 设超时,否则死 IP 会把你线程挂死
socket.connect(new InetSocketAddress(host, port), timeoutMs);
return true;
} catch (IOException e) {
return false;
}
}
调用的时候传 2000 到 3000 毫秒就够了。国内机房的普通节点,正常建连一般几十毫秒,如果两三秒还没反应,基本可以判死,没必要再等。
这个方法的优点是极快、极省资源。你手上有几千个 IP 要过一遍筛子,先跑这一轮,能砍掉一大半彻底失联的。缺点是它只能告诉你“这个门开着”,门后面是仓库还是空房间,一概不知。
我见过不少人卡在这一步:端口通了就写进可用池,结果调度器一取出来用,全部超时报错。原因很简单——那个端口后面挂的是个需要认证的代理,或者是个已经欠费停机的节点,TCP 层还回你 SYN-ACK,业务层早就废了。
方式二:真发一次 HTTP 请求,走代理跑一遍
想更靠谱,就得让请求真的穿过代理。Java 11 之后用 HttpClient 写起来很干净:
public static boolean isProxyUsable(String proxyHost, int proxyPort, int timeoutSec) {
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress(proxyHost, proxyPort)))
.connectTimeout(Duration.ofSeconds(timeoutSec))
.version(HttpClient.Version.HTTP_1_1) // 部分代理对 2.0 支持不好
.build();
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create("http://your-light-test-page/")) // 换成一个内容极小的页面
.timeout(Duration.ofSeconds(timeoutSec))
.GET()
.build();
try {
HttpResponse<Void> resp = client.send(request, HttpResponse.BodyHandlers.discarding());
return resp.statusCode() >= 200 && resp.statusCode() < 400;
} catch (Exception e) {
return false;
}
}
几个实操细节,都是踩过坑换来的:
测试页面要挑小的。别拿首页去测,里面一堆图片和脚本,测一次好几秒,还容易被对方限流。找个返回几十字节的轻量页面最合适,测的是“代理能不能转发”,不是“目标站快不快”。
超时分成两段设。建连超时 3 到 5 秒,读取超时 8 到 10 秒。建连卡住说明节点本身有问题,读取卡住多半是节点在排队限速,两种情况处理方式不一样,别混成一个总超时。
状态码要分着看。407 是代理要认证,403 是目标站拒了你,429 是被限流——这三个都不是死 IP,但也不能直接扔进可用池,得单独标个状态。
如果你的代理是 SOCKS5 协议,ProxySelector.of() 就不够用了,得走系统属性:
System.setProperty("socksProxyHost", "代理IP");
System.setProperty("socksProxyPort", "端口");
注意这种写法是全局生效的,多线程环境下会互相干扰。要按请求切代理,老老实实用 Socket 手工建连再包装成流,或者换成支持 SOCKS 的客户端库。
方式三:看出口 IP,确认它到底“是谁”
前两种方式都在测“通不通”,这一种测的是“对不对”。做法是让请求穿过代理,去访问一个会把你的来源地址原样吐回来的接口,然后看返回值。
HttpResponse<String> resp = client.send(
HttpRequest.newBuilder()
.uri(URI.create("http://your-ip-echo-service/"))
.timeout(Duration.ofSeconds(10))
.GET()
.build(),
HttpResponse.BodyHandlers.ofString());
String exitIp = resp.body().trim();
// 正常情况下应该返回代理节点的地址,而不是你本机的公网地址
boolean exitOk = !exitIp.isEmpty() && !exitIp.equals(localPublicIp);
这一步能多捞到两类信息。
一是出口地址是不是你要的地区。做各地搜索结果对比、做本地化投放测试的时候,“IP 能不能用”和“IP 是不是那个城市的”完全是两个问题。几百个 IP 看着都活着,一查出口全挤在同一个机房同一段地址,那这池子对你没有任何意义。
二是匿名度有没有漏水。正规的转发不会把原始来源暴露出去,如果返回内容里能看到你本机的地址被塞进了转发头里,说明这条链路是透明的,做多账号独立环境时就得当心。
代价是慢。一次回显查询普遍在几百毫秒到两秒之间,比 Socket 探测贵一个数量级不止。所以我不建议每个 IP 每次都跑这一步,通常放在“入池前”和“定时巡检”两个节点上跑就够了。
三种方式摆在一起看
| 检测方式 | 典型单次耗时 | 能说明什么 | 判断不了什么 | 建议用在哪 |
|---|---|---|---|---|
| Socket 建连 | 10~80 ms | 端口开放、路由可达 | 能否转发、是否需要认证 | 大范围初筛,砍掉死节点 |
| 走代理发 HTTP 请求 | 200~1500 ms | 协议握手成功、能真实转发流量 | 出口地址是否符合预期 | 入池前的准入检测 |
| 出口 IP 回显 | 300~2000 ms | 出口地址、地区归属、匿名程度 | 长时间运行下的稳定性 | 采集、多账号环境上线前核对 |
实践里我的顺序是固定的:先 Socket 砍一刀,再 HTTP 过一遍,最后回显对一次。三轮下来留下的 IP 数量不多,但基本都能干活。反过来,如果一上来就做全套检测,几千个 IP 光测试流量就得跑十几分钟,还没等测完,一批短时效的节点已经过期了。
把这套检测跑稳的三个参数
代码写出来只是第一步,跑起来不炸才算数。
线程池要封顶。别一个 IP 开一个线程,五千个 IP 就是五千个线程,检测还没出结果,内存先撑不住了。稳妥的做法是固定大小线程池,核心数控制在 50 到 200 之间,配合带超时的任务队列,让检测任务自己排队。
结果要带时间戳缓存。一个 IP 三秒前刚测过是通的,没必要三秒后再测一遍。我的做法是给每个节点记三个字段:最后检测时间、检测结果、连续失败次数。连续失败三次就从池里摘掉,成功的按五分钟或十分钟做一次复检,具体看你的节点时效是几个小时。
失败原因要分开记。超时、连接被拒、认证失败、状态码异常,这四类原因的处理逻辑完全不同。前两类直接丢弃,认证失败要回去查凭证配置,状态码异常可能只是目标站今天限流了,换个时间再测就好。全都笼统记成“不可用”,你根本没法优化后面的策略。
还有个小提醒:测试请求本身也是流量。如果你每轮检测都拿几千个 IP 去访问同一个目标站,很容易被对方的频率策略盯上。测试页面最好分散几个,或者用一个对检测友好的轻量接口。
代理池本身的质量,决定了你要写多少检测代码
说句实话,上面这些检测代码写得再漂亮,也只是在“筛”。如果节点本身三天两头掉线、出口地址漂在你不想去的地区,那你的程序里一大半时间都在做无用功。
我们后来把检测脚本收缩得很简单,是因为把 IP 来源换成了更可控的渠道。神龙IP这边我比较看重两点:一是200+ 城市的精准定位,做各地搜索结果排名对比、本地化投放验证的时候,直接按城市取对应出口就行,不用再靠回显接口一个个去校正地区;二是自营机房,节点不是二手转卖的,稳定性上的波动小很多,检测脚本的失败率肉眼可见地降下来了。
套餐上按需求选就好。要长时间保持同一个出口不变,静态高级比较对路,长期固定 IP、运营商合作资源,做多账号独立环境时不会因为地址变动触发风控;要做 IP 轮换、需要覆盖很多城市,动态高级更合适,6Mbps 峰值、日更 200 万+ IP、2 到 360 小时的时效可选,测多久取多久,不浪费。协议支持 IKEv2、PPTP、L2TP、SSTP、SOCKS5,你 Java 侧用哪种写法都能接上,数据全程加密传输。
带宽是 6 到 15M 可定制的,如果你的采集任务并发开得比较开,记得跟客服确认下带宽档位,别让检测脚本和业务请求抢同一条通道。
常见问题
Q:Socket 能连上的代理,是不是就可以直接拿去用了?
不建议。Socket 只验证了 TCP 端口可达,很多节点端口开着但需要认证、已经限速,甚至是空壳服务。稳妥的做法是至少补一次走代理的真实 HTTP 请求,看返回状态码和耗时,两者都过关再入池。
Q:检测超时设多少合适?设短了误杀,设长了太慢。
建连超时 3 秒、读取超时 8 到 10 秒是个比较折中的区间。国内普通节点正常响应都在一两秒内,超过这个范围基本可以判定为不可用或者正在严重排队。如果你的业务对时效特别敏感,可以把读取超时压到 5 秒,但要做好误杀率上升的准备,最好配合“连续失败三次才摘除”的策略。
Q:为什么有的 IP 检测的时候是通的,过一会儿业务跑起来又失败了?
常见有三种情况:一是短时效节点到期了,检测时还剩几分钟,业务排队排到它的时候已经失效;二是节点有并发上限,你自己测试是单线程,业务一上来几十个并发就被限住了;三是目标站的反爬策略在变动,跟 IP 本身无关。排查的时候把检测时间戳和业务调用时间戳打出来对比,一眼就能分清是哪种。
Q:检测频率一般定多少?每次都全量检测会不会太浪费?
看节点时效。2 小时时效的节点,半小时复检一次就够;长期固定的静态 IP,几个小时甚至一天复检一次都行。全量检测确实浪费,更实用的做法是分层:新入池的做一次完整三轮检测,池内的只做轻量的 HTTP 抽查,只有抽查失败的再拉出来做一次出口回显,确认到底是节点挂了还是地区偏了。




