一个好用的爬虫应该有什么样的功能？有什么有趣的玩法？

[GrahamCloud]

这两周，我们做了一个目前来看非常易用的云爬虫：

主页在这里， zaoshu.io

现在，我们提出了很多酷的设想，也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法，愿意洗耳恭听。 期待可以一起合作。

我们精心制作了一个使用视频：
http://t.cn/RJzmG8v

昨天更新了 ui ，也做了新的视频。
http://www.bilibili.com/video/av8748581/

[Lothar]

这个东西确实很厉害，不过很好奇，那些需要我隐私信息登录网站才有的数据要怎么处理呢？

[GrahamCloud]

@ELLIA 求加微信 ，需要更多反馈意见！
Zaoshuio
每个任务是一天一次，多开任务即可。
爬分页的功能现在在，控制面板里，年后正在上新版，会大幅变好用。

[GrahamCloud]

@Lothar 这个就要分很多情况了，目前能处理好很多。

[ELLIA]

@GrahamCloud 嗯，加了……

[Xrong]

对于小白挺好，但是真正想要特定网站数据或者自定义强的功能，又觉得隔靴搔痒还不如自己写代码来得方便。

[gongzili456]

防抓机制怎么破的?

[GrahamCloud]

@Xrong 这版确实如此，马上会上一版新的全面提升。到时欢迎更多意见

[GrahamCloud]

@gongzili456 要一个一个搞定，嗯

[rickwise]

Ajax 分页 能搞定么？怎么做？

[catfish]

怎么一个时间抓了这么多次，这个任务我是昨晚开始的。

[nomemo]

怎么说呢，非常理想

[vizards]

为什么有的页面分析很久也没有出现结果啊...是学校 asp 做的站点

[GrahamCloud]

@rickwise 分页可以搞，马上发布的新版欢迎玩耍，并且会做一个使用视频。

[GrahamCloud]

@catfish 取消出了问题么

[GrahamCloud]

@nomemo 怎么说呢，这么理想看了好开心啊！ 当然有问题一定告诉我

[GrahamCloud]

@vizards 求告知细节认真解决一下!

[zhucha]

如果有多个分页，有时候三个分页，有时候三十个分页，这种在设置每次都抓取三十页，会不会有问题？

[GrahamCloud]

@zhucha 应该不会，如果出了问题，我可以后台帮你看看问题在哪，请放心！

[vizards]

r#116 @GrahamCloud 可能是昨天你们网络又出问题了吧，今天看了下又可以了

[GrahamCloud]

@vizards 恩，最近在上新版，多谅解。多提意见！

[lidream2016]

@GrahamCloud http://wenshu.court.gov.cn/list/list 一直是爬取失败

[GrahamCloud]

@lidream2016 现在应该好了！

[zhucha]

假设一个页面有两列，在左键点击第一列的第一个项目时，只会自动添加第一列的其它行的相关内容，然后在 Excel 里面生成第一列。实际第二列的内容和第一列一样，但必须要再点第二列的第一个项目，然后变成 Excel 的第 N 列。
这样查看起来非常不方便，有没有办法智能识别，或者有什么办法让第 N 列自动移到第一列的下面呢？

[GrahamCloud]

@zhucha 好问题，求加微信！ Zaoshuio

[x86]

好奇有遮罩层的怎么解决

[GrahamCloud]

@x86 现在有好多点子，都在一个一个试着用

[catfish]

@GrahamCloud 正常了，之前任务重复运行

[GrahamCloud]

@catfish 多试一试，有问题随时说

[downsky]

帐号似乎验不验证没有区别。

[Nat]

楼主求个联系方式，我们公司对爬虫方面有业务需求

[DonxYu]

验证码问题貌似没解决 搜狗微信

[GrahamCloud]

@downsky 48 小时 不激活就有区别了

[GrahamCloud]

@Nat 好啊，微信： Zaoshuio

[GrahamCloud]

@DonxYu 收到，研究中。

[gabri]

好像很有趣

[exoticknight]

只用一个链接？太过简化的话就容易造成功能薄弱（当然有部分情况也是很方便
数据结构是给 dom 结构的 class 啊 id 啊路径啊做索引？
真正用的时候遇到的问题很多事混合的， AJAX 分页，然后爬出的链接要跟踪进去爬真正的数据，还要防反爬
折腾过不少，最后还是学了一下 scrapy ，起码能 work ……

[GrahamCloud]

@gabri 持续迭代中，求意见

[GrahamCloud]

@exoticknight 通用爬虫一切为了易用吧。

[cqcn1991]

用了一下，还是挺好用的
但是现在只适合抓列表页面，不适合抓详情页面。对比了一下 Import.io, 感觉完善很多，不过比国内的八爪鱼, gooseeker 都好很多了，看好你们

[GrahamCloud]

@cqcn1991 详情页功能我们正在开发中，敬请期待。

[moonkiller]

lz 你太牛了。我就要个你这样的功能=。=

[GrahamCloud]

@moonkiller 真的？有问题有需要随时说啊

[moonkiller]

@GrahamCloud 问题太多，不知道从哪儿说 ಥ_ಥ。。。。

[GrahamCloud]

@moonkiller 来加微信： Zaoshuio ，慢慢说

[fhefh]

先 mark 试用中

[F0nebula]

竖屏打开首页没有显示
"热门数据来源 TOP 16"
的图标 不过可以点击

[GrahamCloud]

@F0nebula 感谢！

[jadetang]

好奇问一下，你们的爬取机器是只有一台吗，如果数据量过大，会爬取得很慢吗

[GrahamCloud]

@jadetang 用的阿里云

[hoyixi]

哈哈，赞一个

[GrahamCloud]

@hoyixi 昨天上线了神奇功能，快来试试

[jadetang]

@GrahamCloudge 这个和阿里云没关系的啊。如果 1 万个人用，零点的时候有 100 万个爬取任务在爬取。那么你是弄一台很高配的 ecs 去跑吗

[GrahamCloud]

@jadetang 肯定是分布式的啊……

[jadetang]

@GrahamCloud 那同一个任务是怎么只在一个机器上去跑的？

[GrahamCloud]

@jadetang 我们有非常好的任务调度，嘛，非常好。

[YingJie]

楼主你好，请问你们的爬虫是基于 pyspider 吗？

[peesefoo]

以后会收费吗

[GrahamCloud]

@YingJie 接近了

[GrahamCloud]

@peesefoo 流量成本越来越高，以后必须要收费啊

[lneoi]

注册的时候 看到“立即注册造数，获取你的数据”。犹豫了一秒，为什么我要主动贡献我的个人信息给你...然后就明白 我理解错了..

[GrahamCloud]

@lneoi 哈哈哈哈

[cuebyte]

再次推广之前应该注意一下自己的服务器是否能承载吧？

你们连一些很简单的博客也刷不出来

[Mitt]

_(:зゝ∠)_ 表示想知道前端后端服务端用了哪些技术

[Suclogger]

http://dig.chouti.com/

[Suclogger]

可以抓取了，有个问题就是修改网址规则之后重新抓取，用的还是修改前的网址规则？

[benbenlang]

你们有 QQ 群吗，我想加一个，谢谢！

[GrahamCloud]

@cuebyte 求告知是哪个博客，非常感谢！

[GrahamCloud]

@Mitt 技术交流欢迎加微信： Zaoshuio

[GrahamCloud]

@benbenlang 欢迎加微信： Zaoshuio

[cuebyte]

@GrahamCloud 王垠的博客

[qianguozheng]

打不开。。。

[GrahamCloud]

@qianguozheng 求告知！

[Zicoco]

能爬商品评论吗

[Zicoco]

淘宝的评论不行啊。。。必须先进入页面，点击才能到评论 tab,这个怎么破

[GrahamCloud]

@Zicoco 求告知详情！感谢

[x86]

tab 页， ajax 等怎么破

[GrahamCloud]

@x86 之后我们会上通用方案。

[binux]

半年了吧，行对其错误的问题依旧没有解决。

[sohoer]

@binux #178

就我们两个在说，他还不知道是什么

等我把 www.hicrawler.com 写完

[GrahamCloud]

@binux 小团队，很多主要功能还在慢慢排期做，低下了羞愧的脑袋瓜儿。

[GrahamCloud]

@sohoer 求加 微信： Zaoshuio

[ooTwToo]

服务挂了吧。

[GrahamCloud]

@ooTwToo 没有没有