是这样,我打算撸个小破网站,专门发布那些类似 “新用户注册,享受 xx 优惠”的新闻。 全靠手动不行啊,所以想找个合适的爬虫。大家推荐下呗。
谢谢
1
soratadori 2015-09-28 23:26:54 +08:00
自己写啊,又不难
|
2
wangd 2015-09-29 00:22:51 +08:00 via iPhone
scrapy
|
3
pupboss 2015-09-29 00:25:45 +08:00
一流社区靠信仰,二流社区靠主题,三流社区靠福利
|
6
imlonghao 2015-09-29 00:36:21 +08:00
pyspider
|
8
zts1993 2015-09-29 07:16:28 +08:00 via Android
scrapy 啊
|
9
gzlock 2015-09-29 08:39:04 +08:00 via Android
nodejs 也挺容易啊,昨晚写了个队列任务+多线程采集,开了 50 个线程做测试, console 刷的飞快, 2333
|
10
tobyxdd 2015-09-29 09:03:49 +08:00 via Android
v2ex 六流社区😂😂
|
14
jimmyzhang33 2015-09-29 10:16:33 +08:00
scrapy 吧,看一下教程,基本功能就可以实现了。
|
16
ssltest 2015-09-29 10:22:43 +08:00
你这个问题问的好符合我的心意啊,以下内容希望你会喜欢。
http://project.codefrom.com/?w=%E7%88%AC%E8%99%AB http://project.codefrom.com/?w=spider |
17
sewyu OP |
18
XianZaiZhuCe 2015-09-29 11:19:18 +08:00 via Android
@pupboss 我觉得福利第一位。
|
19
plqws 2015-09-29 11:25:13 +08:00
同样推荐 pySpider
|
20
kepenj 2015-09-29 11:29:22 +08:00
改主题吧~ 专抓 1024 最新福利~ 保准大神 分分钟出现解决各种疑难杂症~
|
22
vitovan 2015-09-29 11:59:30 +08:00
|
23
alexinit 2015-09-29 12:03:00 +08:00
绝对是 scrapy
|
24
sewyu OP |
25
li24361 2015-09-29 12:40:48 +08:00
webmagic
|
26
assassinpig 2015-09-29 14:19:44 +08:00
小的自己写了就是 日后经常用个框架
|
27
gzlock 2015-09-29 14:50:22 +08:00 via Android
|
29
PandaSaury 2015-09-29 16:19:47 +08:00
自己造轮子吧
|
30
PandaSaury 2015-09-29 16:21:27 +08:00
php + swoole
|
32
Chrics 2015-09-29 17:56:11 +08:00
scrapy
|
33
yytsjq 2015-09-29 19:17:20 +08:00
PHP Simple HTML DOM Parser
|
34
Tink 2015-09-29 19:22:54 +08:00
自己提取
|
35
MicroPan 2015-09-29 20:32:29 +08:00
java 的话 推荐 webmagic
|
37
xpol 2015-09-29 22:36:39 +08:00
没人推荐 Ruby 方案吗? 我来一发: https://github.com/postmodern/spidr
|
38
hjkl0001 2015-09-29 23:18:01 +08:00
scrapy
|
39
paperpeper 2015-09-29 23:18:52 +08:00
scrapy ++
|
40
hjkl0001 2015-09-29 23:19:03 +08:00
使用 scrapy
|
41
hcl 2015-09-29 23:58:53 +08:00
PHP 环境下可以用 Goutte ( https://github.com/FriendsOfPHP/Goutte )
|
42
magicyu1986 2015-09-30 09:36:04 +08:00
....Nutch?
|