一笔账：过去半年我在代理上花了多少钱
做电商比价系统半年，每天采集10万+商品价格。一开始用免费代理，结果采集器每天被反爬封禁，效率只有30%。迫不得已换了付费代理，选了市面上最便宜的按量计费套餐，月均消耗3200元。老板嫌贵，让我优化。我花了两周时间，把API调用方式从“每次请求获取一个新IP”改成“复用长连接+按需拨号”，结果月费降到1280元，节省60%。这中间全靠调优IP代理接口的交互细节。
很多开发者觉得代理IP接口就是“发请求拿IP”，没什么技术含量。但实际跑起来，接口的响应延迟、连接复用率、IP存活时长三个参数，直接影响你的并发吞吐和成本。下面用一组对照实验说明。
对照实验：两次采集同一商品池，成本差近2倍
实验环境
- 目标站：某头部电商商品详情页，每日10万URL，QPS峰值500
- 代理服务商：蚂蚁代理（mayihttp.com），动态代理API，支持提取后绑定IP存活2分钟
- Python 3.9，aiohttp异步，8个Worker
方案A：每次请求都通过API提取新IP
代码片段：
async def fetch(url):
# 每次请求先调用代理提取接口
proxy = await get_proxy()
async with aiohttp.ClientSession() as session:
async with session.get(url, proxy=proxy) as resp:
return await resp.text()
这种写法最直观，但实测发现：每次提取API响应时间平均800ms（包含排队和IP分配），加上目标站响应300ms，单请求耗时1.1秒。8个Worker并发只能跑约7QPS，完成10万请求需要4小时，消耗IP数量10万个，按动态代理0.0022元/IP计算，单次采集成本220元。
方案B：预提取IP池+心跳保活，复用长连接
优化后先批量提取50个IP，每个IP用独立TCP连接保活，每30秒发一次心跳请求维持IP存活。爬虫直接复用本地池中的IP，不再频繁调用代理接口。代码片段：
class ProxyPool:
def __init__(self):
self.pool = asyncio.Queue(maxsize=50)
self.keep_alive()
async def get_proxy(self):
return await self.pool.get()
async def keep_alive(self):
while True:
for proxy in self.pool:
await self._heartbeat(proxy)
await asyncio.sleep(30)
实测结果：每个IP存活期内可复用处理约40次请求，50个IP即可支撑2000次并发。提取API调用次数从10万次降到2500次，提取延迟几乎消失。单请求耗时降至320ms（纯目标站响应+少量代理协议开销），QPS提升至156，完成10万请求只需10分钟，消耗IP仅2500个，成本降为5.5元。
| 方案 | 提取API调用次数 | 单请求耗时 | 完成时间 | 成本（元） |
|---|
| A: 每次新IP | 100,000 | 1.1s | 4h | 220 |
| B: 复用池+心跳 | 2,500 | 320ms | 10min | 5.5 |
调优细节：接口参数与连接策略
1. 提取接口超时设置
很多服务商默认超时10秒，但在高并发下，接口可能因为排队而延迟。我踩过一个坑：把超时设成5秒，结果频繁重试导致接口压力翻倍。后来根据该服务商API文档，发现其支持timeout参数（单位毫秒），我设为3000ms，并配合重试机制（最多3次）。实测在500并发下，提取成功率达到99.7%。
2. IP存活时间的利用
接口返回的IP往往绑定一个存活期（比如2分钟）。如果在这段时间内复用，就能省下一次提取调用。但要注意：目标站可能会针对同一IP频繁访问触发风控。所以我设计了一个IP使用计数器，每个IP最多使用30次后主动释放。这个阈值来自实际测试：超过35次后，目标站响应状态码开始出现403。
3. 并发数与IP池大小的关系
理论上一池50个IP就够了，但实际受网络抖动影响，需要冗余10%。我设池大小为55，定时检查可用IP数，低于45时触发一次性补充。这个策略让爬虫在高峰期从未因缺IP而阻塞。
结语：真实的省钱公式
从月花3200到1280，核心就是降低IP代理接口的调用频率与传输开销。如果你也在用该服务商这类服务商，不妨试试预提取+心跳保活模式。当然，如果你的业务量级小（日请求<1万），直接用简单API也没问题。但对于长期运行的高并发系统，接口调优带来的成本杠杆是几十倍的。
最后推荐一个工具proxypool（GitHub开源），它把预提取和心跳逻辑封装好了，支持该服务商等主流API。我把它集成到比价系统后，运维工作量几乎为零。去该服务商官网(官网)注册后，按文档配好API Key就能跑起来。