如何有效的对付流氓爬虫？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐书目

› 高性能网站建设进阶指南

› High Performance Web Sites

› Google Hacks: Tips & Tools for Finding and Using the World's Information

关于 Google SEO 最好的一本书

这是一个创建于 3853 天前的主题，其中的信息可能已经有所发展或是发生改变。

近一段时间时不时有流氓爬虫，垃圾评论机器人到我的网站，导致资源占用率极高。
有没有什么方案可以自动屏蔽这些东西？
我原来是是发现一个，屏蔽一个。这实在太麻烦了，我现在直接block了2家廉价主机商的所有ip，中国一个省的ip，一个东欧国家的ip。

爬虫

屏蔽

流氓

16 条回复 • 2014-06-10 07:28:06 +08:00

lyragosa

2014-06-09 10:45:06 +08:00

那些好的爬虫还会在agent声明自己的spider或者bot，屏蔽掉就是

有些无良爬虫直接写Mozlia/5.0 更无良的直接伪造一个标准的用户访问的agnet，根本没得破。

sanddudu

2014-06-09 11:47:15 +08:00

遇到 UA 伪造的话你可以通过分析 log 来找，一般他们的访问操作不会像正常的用户

iannil

2014-06-09 12:14:38 +08:00

自己写个程序分析流量，凡是流量异常的ip一律封掉24小时。

codingpp

2014-06-09 12:19:36 +08:00

我就是流氓爬虫，你破不了我的

webflier

2014-06-09 15:11:38 +08:00

又block了一家主机商，整个世界清静了。。。
目前block了online.net，datashack/WSI，hetzner

imn1

2014-06-09 15:34:16 +08:00

能封掉的爬虫都不算流氓

dong3580

2014-06-09 16:03:02 +08:00 via Android

直接伪造成浏览器，各种该有的都有，你要怎么屏蔽？

mywaiting

2014-06-09 17:11:06 +08:00 via iPhone

计算访问频率，输出个reCAPTCHA验证码吧

humiaozuzu

2014-06-09 17:16:40 +08:00

@webflier 主机商ip段如何获得的呢？

xiaocsl

2014-06-09 17:26:01 +08:00

0.0 前段时间爬慧慧,表明是机器人.但自动的会限制访问频率.直接换成adsl,自动断线重连换IP.这也没法破哈..

greatghoul

2014-06-09 17:28:29 +08:00

http://robbinfan.com/blog/11/anti-crawler-strategy

tumutanzi

2014-06-09 20:10:44 +08:00

我用的是incapsula服务，CDN，然后就没有垃圾评论了。他们有专门应付垃圾爬虫的设置。

Lelouchcr

2014-06-09 21:09:36 +08:00

限制频率，多个ua，n个匿名代理，你破不了的～

webflier

2014-06-09 21:43:10 +08:00

@humiaozuzu 看这儿 http://bgp.he.net/AS36351

webflier

2014-06-09 21:47:15 +08:00

@tumutanzi 我有用cloudflare，效果不明显

hanchengluo

2014-06-10 07:28:06 +08:00

洗洗再采集
http://www.smartweb.cn