怎么定义爬虫？很多第三方 APP 爬取论坛内容，那不也是爬虫了吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

如题，类似的比如：论坛助手
我理解就是爬取论坛内容了，而且有的论坛应该没有暴露提供 API 调取数据的。

那么此间行为不就是属于爬虫了吗？
这个爬虫的行为怎么定义呢？

5 条回复 • 2024-12-26 14:19:17 +08:00

iyaozhen

14 小时 1 分钟前

不好定义，别人告你也要打过官司才知道

简单来说除非给钱特别多，不然不做。zf 类的坚决不做，因为没机会讨论定义

nong99

13 小时 59 分钟前 via iPhone

@iyaozhen #1 哈哈，zf 类肯定不搞哈。明白了

mumbler

13 小时 55 分钟前

符合 robots 协议就没问题

jifengg

13 小时 31 分钟前

我觉得楼主要的不是爬虫的定义，是“非法爬虫”的定义？

nong99

13 小时 2 分钟前 via iPhone

@jifengg #4 Yes ，应该就是这个意思了。
@mumbler #3 好的👌我去了解下🫡