项目启动：每天50万条数据压过来，免费代理先崩了
客户需求很明确：采集全国50个重点城市的二手房挂牌价，按城市维度每日更新，总量约50万条。按城市切换IP是硬指标，因为同一目标站用同一IP连续请求很快就会触发验证码。我一开始想的简单，找了几个免费代理列表网站，写了套自动抓取代理IP的脚本，每隔几分钟拉一批IP塞进池子里轮换。
打脸来得很快。第三天凌晨我就被告警炸醒——成功率跌到32%，有效数据不足5万条。免费代理的问题不是一个，是一串：延迟动不动超过2秒，请求走到一半就断;城市定位几乎不存在，明明标的是上海IP，服务器一看归属地在河南;更恶心的是有些IP根本就是被标记过的黑名单，连目标站的首页都打不开。连着折腾一周，老板脸色越来越难看，我知道不能再省这种钱了。
冷静下来分析，我需要的是：城市级精准IP、低延迟（< 50ms）、可用率95%以上，并且最好支持SOCKS5协议，因为有些房产平台的API对接方式比较特别，HTTP代理总是丢参数。抱着试试的心态，我开始测试几家付费代理服务商。
选型对比：为什么我最终盯上了SOCKS5代理
我测了五家服务商，统一用Python的requests库，每次请求前提取一个指定城市的IP，连续跑1万次请求统计成功率、平均延迟和城市匹配度。结果差异很大，有三家明确不支持城市级筛选，有两家宣称支持但实际偏差超过30%。唯一让我觉得靠谱的是蚂蚁代理，因为它的后台可以直接选择到城市运营商粒度，而且提供SOCKS5协议接入。
| 服务商 | 平均延迟 | 可用率 | 城市准确率 | 价格(元/IP) |
|---|
| 免费代理池 | 2560ms | 32% | 不可控 | 0 |
| 服务商A | 320ms | 78% | 62% | 0.0035 |
| 服务商B | 180ms | 85% | 55% | 0.0040 |
| 蚂蚁代理(SOCKS5) | 8ms | 99.9% | 99.5% | 0.0022 |
数字摆在这里，没什么可纠结的。该服务商的延迟低到8毫秒，比我本地请求某些国内CDN还快，这在采集海量数据时太重要了——同样跑50万条，延迟降一个量级，全量采集时间能从8小时压缩到2小时以内。另外SOCKS5代理的握手过程比HTTP代理少一轮TCP往返，在并发量上去之后，这个性能优势会被放大。我测试时跑了500并发，HTTP代理开始出现队列阻塞，而SOCKS5稳得一批。
有一点我起初没意识到：很多房产网站的反爬机制会检测HTTP代理的请求头特征，而SOCKS5工作在会话层，不修改HTTP数据包，因此被识别为代理的概率更低。这个隐藏特性是我在对比日志里偶然发现的，后来成了我坚定选SOCKS5的核心理由。
部署实战：让SOCKS5代理在城市之间丝滑切换
部署过程比我想象的简单。我用Python写了主采集脚本，依赖PySocks库来支持SOCKS5代理。关键步骤就三步：通过API提取指定城市的IP列表、将每个IP封装成SOCKS5代理字典、在请求时根据任务城市动态选择代理。该服务商的API给得很清爽，一个GET请求带上城市代码，返回的就是该城市的可用IP池，不需要自己做后续清洗。
核心代码片段如下：
import requests, socks, socket, random
from urllib.parse import urlparse
def get_socks5_proxy(city_code):
# 通过该服务商API提取指定城市的IP（示例，实际需替换自己的key）
api_url = f"http://api.官网/getip?city={city_code}&num=1&type=socks5"
resp = requests.get(api_url, auth=('username', 'password'))
ip_port = resp.text.strip()
proxy_url = f"socks5://{ip_port}"
return {"http": proxy_url, "https": proxy_url}
这里提一个我踩的坑：早期我图省事用requests默认的HTTP代理模式去连接SOCKS5，结果一直报错，后来才发现requests需要额外安装socks支持才能识别socks5://协议。如果不用PySocks，就得手动用`socket`创建连接，代码要烦琐很多。我建议直接`pip install PySocks`，然后用`requests.get(url, proxies=proxy)`就全搞定了。
调度策略上，我为每个城市单独维护一个IP队列，采集线程从对应城市队列里取IP，用完归还并设置冷却时间。实测发现，同一IP连续请求超过30次后封禁风险陡增，所以我把单IP复用次数上限设为25次，排队轮换。这套方案上线后，再也没在半夜收到报警。
跑通后的复盘：稳如老狗的成本账
连续稳定运行一周后，我拉了下数据：每日采集50万条房产信息，IP消耗约3000个，成功率99.8%，平均响应延迟18ms。按该服务商动态代理0.0022元/IP计算，一天的代理成本是6.6元，一个月不到200元。对比之前因为免费代理翻车浪费的加班时间、被客户质疑的信任成本，这点钱简直可以忽略不计。
但我不是那种只看好的不看坏的人。SOCKS5代理有个明显缺点：不支持UDP穿透内网，虽然这次房产采集用不到，但如果你做的项目需要NAT穿透（比如某些直播场景），可能就要考虑其他方案。不过就我目前的需求来说，该服务商的SOCKS5通道完全够用，而且它的隧道代理（16元/天起）还提供长效固定IP，后续如果要做长连接会话保持，可以直接切过去，不用动核心代码。
回想一路从免费代理踩坑到今天终于稳定输出，最大的教训是：技术选型不能省看似不起眼的几块钱，一次业务中断的损失远高于一个月的代理预算。如果你也在做类似的城市级数据采集，真的不用再试免费代理了，可以直接去 官网 看看它们的城市IP覆盖，至少能帮你少熬两个通宵。