面对采集器，有什么好方法防止或者屏蔽采集的吗？

[lightforce]

行业是图站，单纯lnmp，负载应该没什么问题。上月50，60G日均，最近几天日流量又涨了几十个G，前4天日均85G，今天估计要逼近95G左右，日均uv比ip少个400左右
估计是被什么采集器盯上了，火车头，et，狂人这种怎么对付？
单纯靠log我感觉不现实，refer，ua都可以伪造，
分析ip工作量又感觉太大？

[manhere]

防不了，只有图片打水印还能保留一丁点你的站点信息

[lightforce]

@manhere 图片水印，压缩这种我都做了，但还是被人采，郁闷

[licell]

只要是中文站，都避免不了这个问题

[codingpp]

还得是分析log中的ip吧，几秒钟访问超过限制就封掉
做抓取的表示一般大型网站都是这么屏蔽的

[lightforce]

@codingpp 图站要并发req的，我试过limit，影响体验我没加，现在就limit_conn,limit_rate

[zhurongx]

90%的情况下有效的方法：
把速度快，频率高，已经超出人类操作的频率的来源ip进行限制。监控ip访问流量、次数等特性的工具有很多。
剩余10%基本无解的方法：
好的爬虫会有一个ip池，会把请求分散在大量ip服务中转发，隐藏自己速度快频率高的特点，伪装成正常请求。这种情况下，除非你使用限制性逻辑，如积分满多少才可以打开，否则是无解的。