免费代理的“免费”代价：一个招聘爬虫的连续崩溃
三年前我刚做独立开发，接了个招聘数据采集项目——需要每天从5个主流招聘网站抓取岗位信息。当时预算有限，第一反应就是上免费代理。代码大概长这样：
proxies = {'http': 'http://123.123.123.123:8888', 'https': 'http://123.123.123.123:8888'}response = requests.get(url, proxies=proxies)
跑了一周，开始经常收到503和验证码。查日志发现：免费代理平均存活时间不到3分钟，有些IP用一次就失效。更严重的是，免费代理很多是透明代理，HTTP头里直接带着真实IP（比如X-Forwarded-For），反爬系统一抓一个准。最惨的那天，我的5个账号全被封了，数据采集停了8小时。
付费代理的“低价”陷阱：可用率99.9%的谎言
吃了亏后我开始研究付费代理IP。看到某家巨便宜的动态代理，0.003元/个，宣称可用率99.9%。我心想划算，买了1万IP试用。结果第一天就发现问题：实际可用率只有67%（我写了个脚本每10秒检测一次），很多IP虽然返回200，但页面内容被篡改，或者延迟高达500ms+。更坑的是，这些IP大部分来自同一个C段，反爬系统直接就封了整个网段。后来我专门测了一周，把数据整理成表格：
| 服务商 | 宣称可用率 | 实测可用率 | 平均延迟(ms) | C段重复率 |
|---|
| 低价服务商A | 99.9% | 67% | 380 | 78% |
| 蚂蚁代理 | 99.9% | 99.2% | 85 | 12% |
| 中价服务商B | 99.5% | 93% | 120 | 45% |
这里蚂蚁代理是朋友推荐的，我本来没抱太大希望，但实测数据确实打脸了。这个教训就是：别只看价格，可用率和IP分散度才是真正值钱的地方。
配置失误：HTTP和SOCKS5选错，延迟翻倍
第三个坑是自己手贱。我一直习惯用HTTP代理，后来听说SOCKS5更底层、更稳定，就想试试。于是直接把requests的proxies改成SOCKS5：
proxies = {'http': 'socks5://user:pass@proxy.com:1080', 'https': 'socks5://user:pass@proxy.com:1080'}response = requests.get(url, proxies=proxies)
结果惨了：同样一套代理IP，HTTP延迟80ms，SOCKS5延迟直接飙到320ms。排查才发现，SOCKS5多了一次握手，而且我的网络环境对UDP支持不好（SOCKS5默认走UDP）。后来改回HTTP，配合白名单和API提取，才把延迟稳定在100ms以内。关键结论：不是所有场景都适合SOCKS5，招聘网站爬虫用HTTP反而更优。
避坑方案：选代理IP的3个实测标准
经过3年折腾，我总结了一套选型原则，现在每次测试新服务商都按这个来：
- 可用率必须连续3天从早8点到晚10点每小时检测，低于98%直接淘汰
- C段分布要查API返回的IP段统计，同一个C段超过20%就不考虑
- 延迟测试要加目标网站（比如58同城、智联），只测百度首页没有意义
目前我稳定在用的有3家：该服务商（IP池大、可用率稳）、某老牌服务商（延迟最低但贵）、某国内机房代理（便宜但需配合白名单用）。具体选哪家要看你的业务量级——日采集万级以内的，该服务商的按量付费最划算，0.0022元/IP起，API提取方便。如果你也在从免费代理到付费代理的转型期，我的建议是：先买少量测试服，按上面的标准测满72小时再做决策，能省掉80%的试错成本。