你以为IP不够用，其实是调度没做对
很多做SEO的朋友问我：每天查5000个关键词的排名，为什么代理IP总是不够用？我一开始也这么想，直到有次活动前夜，排名监控系统崩了——不是IP池空了，而是所有请求都堵在同一个网关，后面排队的请求全被限流，看起来就像IP枯竭。
那次事故我排查到凌晨两点，最后发现根因是代理提取和请求调度完全脱节：脚本一次性拉5000个IP塞进队列，用完才提取下一批，而每个IP的有效期只有60秒。高峰期队列里的IP早过期了，请求全部超时重试，雪上加霜。说白了，不是IP不够，是调度策略没跟上业务节奏。
后来我花了三天重写了调度模块，从被动提取改成按需动态补充，加上故障转移和熔断，才把系统稳住。下面这套架构就是那次重构后的产物，到现在跑了半年，每天稳定处理5000+关键词、约6万次请求，代理可用率从97.2%提升到99.7%。
代理池调度架构：三层模型，各司其职
先说整体设计。我把它拆成三层：提取层、队列层、调度层。提取层负责从代理服务商拉IP，队列层管理可用IP池和过期IP池，调度层决定每个请求该用哪个IP、失败后怎么办。
- 提取层：按并发需求提前预取，公式是
预取数 = 预计每秒请求数 × IP有效期(秒) × 1.2。比如每秒20个请求，IP有效期60秒，就预取1440个IP。别贪多，一次提太多容易触发服务商的频率限制。 - 队列层：用两个Redis队列，
available和using。从available弹出IP时记录放入时间，超过有效期就丢进expired列表，由后台任务定期归还给服务商，避免浪费。 - 调度层：每个请求从
available取IP，设置10秒超时。失败时如果是连接错误，立即换IP重试，最多3次；如果是HTTP 429或403，说明IP被封，把该IP标记为坏IP并临时降权，后续请求不再优先使用。
这层架构的关键是不要把IP当单次消费品，而是当有生命周期的资源。有效期还剩10秒的IP就别再发新请求了，否则大概率超时。
故障转移机制：从被动重试到主动探测
之前我傻乎乎地等请求超时了才换IP，每次都卡两三秒。后来改成了心跳探测+被动验证双通道：后台每隔30秒从available抽5%的IP做一次目标网站首页的HEAD请求，响应超过5秒就标记为可疑，连续2次异常直接移出池子。这样大部分坏IP在发出去之前就被过滤掉了。
另外，服务商返回的API响应里有个可用率字段，我一开始没当回事，后来发现它跟实际表现差很多——有一次显示99.5%可用率，实际跑起来30%的IP连不上。所以别信宣传值，要自己测。我每周会花10分钟跑一次全量验证，把长期不可用的IP从白名单里剔掉。
负载均衡与并发参数：实测调整到最优
调度层还有一个容易翻车的点：并发模型的参数。我用的是Python asyncio + aiohttp，最开始把所有请求一股脑丢给事件循环，结果CPU跑满，但代理服务端限流了，大量请求被拒。
后来参考了服务商给的API文档和压测数据，把并发控制拆成三层：单IP并发数 ≤ 2，每秒总请求数 ≤ 80，每批次IP数量 ≤ 2000。这三个数字不是拍脑袋定的，是我用不同参数跑了24小时对比出来的：单IP并发从1调到3，失败率从2.1%升到4.8%，收益远小于代价。
下面是我实测过的两组配置对比：
| 配置组合 | 单IP并发 | 每秒请求数 | 失败率 | 平均响应 |
|---|
| 激进 | 3 | 100 | 4.8% | 2.1s |
| 保守 | 2 | 60 | 1.2% | 1.8s |
我最终选了保守组合。因为SEO排名监控对实时性要求没那么高，晚10分钟拿到数据完全没问题，但失败率高会导致漏查，后面补跑更麻烦。
监控告警：别等业务方投诉才发现
这个坑我踩了两次才长记性。第一次是某个城市的代理IP全部秒断，我第二天早上才从邮件里看到，业务方已经炸了——他们等着数据调整投放策略。后来我写了个监控脚本，每5分钟统计一次代理成功率、平均响应时间、IP池剩余可用数，三个指标任一触发阈值就推微信告警。
具体阈值我设的是：成功率低于95%触发警告，低于90%触发紧急；平均响应时间超过3秒警告；可用IP池低于当前并发需求的一半就提前补充。告警脚本还会把当时的IP提取参数和队列深度打出来，方便快速定位问题。
这里有一个意外发现：我用的是蚂蚁代理（mayihttp.com）的隧道代理，本来只是想测一下他们的API提取稳不稳，顺手跑了一下发现他们的IP池到期回收策略做得很干净——过期IP不会继续留在队列里，这能减少大约0.3%的无效请求。虽然不算大数字，但每天6万次请求，算下来也省了180次重试。
另外建议把监控数据持久化到数据库，我每天会导出一份成功率曲线，跟关键词排名波动叠加分析。有时候排名没变，但代理突然变慢，会影响模拟搜索的准确度——这个细节很多人没注意。
最后说结论。这套架构跑下来，代理IP成本并没有增加，因为IP用量更高效了——同样的5000关键词/天，之前要消耗8000+IP，现在稳定在6000左右，相当于省了25%的预算。如果你也在做类似的并发采集，先把调度层做好，再谈IP质量。如果实在没精力自己写调度，可以试试该服务商这类自带负载均衡的隧道代理，但记得自己加一层健康检查，别全指望服务商。