想实现一个分布式爬虫系统，有哪些推荐的语言？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3637 天前的主题，其中的信息可能已经有所发展或是发生改变。

如果用来写爬虫此语言有哪些优缺点？

12 条回复 • 2015-01-12 21:16:34 +08:00

nilai

2015-01-12 17:30:12 +08:00

scrapy

icedx

2015-01-12 17:39:58 +08:00 via Android

Python

Gamon

2015-01-12 17:41:28 +08:00

Python

alexapollo

2015-01-12 17:45:18 +08:00

golang

a2z

2015-01-12 17:47:33 +08:00

python，已实现

a2z

2015-01-12 17:48:18 +08:00

vinthony

2015-01-12 19:38:40 +08:00

@nilai
@a2z 感觉推荐，现有的实现确实很好，但是还是想踩踩坑 ^_^

tabris17

2015-01-12 19:40:38 +08:00

C++

vinthony

2015-01-12 19:41:21 +08:00

@alexapollo 感谢推荐

a2z

2015-01-12 20:28:06 +08:00

@vinthony
有时间折腾可以搞搞，坑挺深的。

Bluek404

2015-01-12 20:55:04 +08:00

go+1

优点：多线程简单
缺点：需要编译

yakczh

2015-01-12 21:16:34 +08:00

看了一个Scrapy，抓取的规则还是写在代码里，这样如何网站改版以后，还会重新调试代码，有没有爬虫可以把抓取规则独立到文件或者数据库的，如果网站改版了，就可以通过后台编辑这些规则采集数据了