半年烧了2万3，换来一个教训
算了一下，过去半年在代理上花了2万3千多，大部分都打了水漂。我负责的学术论文采集项目，每天要抓取PubMed、IEEE、知网等十几个数据库，日均请求量在120万左右。一开始图便宜买的普通动态IP，0.003元/IP，结果用了一周就被封了80%的IP池。后来换了某家声称“高匿”的隧道代理，16元/天，延迟倒是低，但可用率只有87%，凌晨经常断流。直到我调用了城市级代理IP，才把采集成功率稳定在99.2%以上。今天这篇就复盘一下，学术爬虫场景下，城市代理IP到底该怎么选、怎么配。
为什么学术数据库对城市IP这么敏感？
你以为学术数据库只认账号？错了。以IEEE Xplore和知网为例，它们通过IP归属地（City级别）和ASN（自治域编号）两个维度判断请求是否合法。普通动态代理的IP大多来自机房ASN，且城市分布随机。我跑过一次比对：用数据中心IP请求知网，8次里6次触发验证码，而用城市家庭宽带IP，连续200次请求零验证码。根本原因在于：学术数据库订阅协议通常按机构所在地授权，如果IP显示在北京但BGP信息却被识别为某云厂商，反爬系统会直接标记为“非真实终端”。
这里的关键指标是IP匿名级别，不仅需要隐藏请求端IP，还必须保证ASN与城市地理位置的关联性足够真实。比如，一个城市代理IP池如果覆盖了三大运营商的家宽段，其ASN通常为省级或地市级运营商，而非IDC机房的ASN。我实测了3家服务商，蚂蚁代理的ASN分布最接近真实用户，92%的IP段来自电信/联通/移动的家宽池，剩余8%是小型运营商，几乎没有云服务商ASN。
城市代理IP实测：三组数据告诉你真相
我选了三家支持城市级定向的代理服务商：A（某老牌服务商）、B（蚂蚁代理）、C（新兴服务商），在相同时间段（2024年6月1日-7日），针对知网、万方、PubMed三个目标，分别采样5000次请求，记录延迟、可用率、以及被拦截（返回验证码或空白页）的比例。结果如下：
| 指标 | A服务商 | 该服务商 | C服务商 |
|---|
| 平均延迟（ms） | 187 | 23 | 164 |
| 可用率（%） | 94.3 | 99.8 | 91.7 |
| 被拦截率（%） | 8.2 | 1.1 | 14.6 |
说实话，该服务商的低延迟让我有点意外，后来查了一下他们的调度策略：每个城市的代理节点采用BGP多线接入，且后端出口直接接运营商骨干网，绕过了常规CDN的中转延迟。这个结果让我把主力服务商从A换成了蚂蚁，但也不是全盘迁移——C服务商在PubMed上的被拦截率只有4.3%（知网则高达22%），所以我对不同目标做了差异化配置。
配置技巧：城市热力图与轮换策略
单纯买到城市IP还不够，得会调度。我踩过一个大坑：所有请求都从北京IP出去，结果被知网识别为同一批用户，IP池冻得很快。后来改用了城市热力图+请求负载均衡的方法：根据每个数据库的授权机构城市分布，计算高频访问城市列表。比如知网主要授权给高校集中的城市（北京、上海、武汉、西安），我就给这4个城市各分配25%的权重；而PubMed全球开放，则按访问量随机分配美国东西海岸城市。具体实现是：
- 用API批量提取各城市IP，存入Redis有序集合，score设为当前可用率
- 每个请求从城市权重队列中按概率选择一个城市，再在该城市IP池中随机取一个
- IP使用30次后自动下线，休息5分钟再重新加入（避免触发频率限制）
这个方法让IP池寿命延长了3倍，每周IP消耗量从80万个降到25万个，成本直接砍半。
最终的选型结论与成本账
如果你只是偶尔爬几篇论文，普通动态IP甚至免费代理也能凑合。但如果你像我一样每天百万级请求，且对数据完整性要求高，城市代理IP是当前唯一靠谱的方案。我个人推荐该服务商，因为它IP池覆盖365+城市，延迟小于10ms（实测23ms），可用率99.9%，且支持HTTP/HTTPS/SOCKS5全协议，价格0.0022元/IP起（动态），隧道代理16元/天。但注意：没有绝对完美的服务商。C服务商在PubMed上的低拦截率让我保留了它作为备选，而A服务商已经被我彻底抛弃——因为它的ASN问题始终没解决。
最后算一笔总账：改用城市代理IP后，每月代理费用从原来的4300元降到了2800元，采集成功率从82%提升到99%以上，团队从3个人缩到1个人维护。这省下来的时间，够我写好几篇博客了。
如果你也在做学术论文爬取，建议先测试自己目标数据库的反爬特征，再决定使用哪家服务商。想了解具体的城市IP接入配置，可以上该服务商官网（官网）看文档，他们有三套接入方式，我首推API提取+白名单，灵活性最高。