公司需要从第三方网站上抓取数据， 但是看网站说，如果抓取频率过高的话，会被屏蔽。
一般大家都怎么处理这样的问题的？
用 http 代理？
还是有其他更好的办法。
一般大家都怎么处理这样的问题的？
用 http 代理？
还是有其他更好的办法。
This topic created in 3894 days ago, the information mentioned may be changed or developed.
 |
1
xfspace Oct 6, 2015
目前好像就代理和降低频率两个方法，楼下的大牛可能知道更多
|
 |
2
kn007 Oct 6, 2015
用代理。。
|
 |
3
zhizhongzhiwai OP @kn007 可是去哪里找那么多可用的代理 ip 呀
|
 |
4
maemual Oct 6, 2015
@zhizhongzhiwai 要么自己抓，要么上淘宝上买。。。
|
 |
5
kendetrics Oct 6, 2015  1
|
|
6
kn007 Oct 6, 2015
@zhizhongzhiwai 写个爬虫抓。具体的自己找。
|
|
7
zhizhongzhiwai OP @kendetrics 像他们这种代理网站的速度如何？ 这些代理稳定吗？ 毕竟我们是公司的产品， 需要非常稳定的代理。
|
|
8
kendetrics Oct 6, 2015
@zhizhongzhiwai 要稳定你还是去买多 IP 的 VPS 吧，或者拨号的 VPS 。。
|
 |
9
crab Oct 6, 2015
淘宝买个动态 ADSL 拨号的，被屏蔽就拨号下就有新 IP 了。用代理 IP 没什么保证的，就是可以用速度也一般。
|
 |
10
tcsky Oct 6, 2015 1
国外 vps 上跑 tor, tor 开 10-20 个端口, tor 本身 10 分钟会换次 ip,
被爬站点有 cdn 的话, 将请求分发不同机器上去. |
Select Language