造数发布详情页/二级页面通用采集功能咯，求探讨研究，求意见。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2853 天前的主题，其中的信息可能已经有所发展或是发生改变。

来这里看新功能加持的造数 zaoshu.io

撒花！我们又在大家的意见中改进了详情页爬取的功能，快来扔砖！另外我们就之前的功能做了一个详细的讲解视频，欢迎大家看，知名声优配音哦。欢迎更多的意见。

讲解视频在这里

造数

意见

讲解

功能

32 条回复 • 2017-04-22 15:17:54 +08:00

eminemcola

2017-02-27 15:59:55 +08:00

好！

GrahamCloud

2017-02-27 16:19:05 +08:00

@eminemcola 好在哪！

skywayman

2017-02-27 16:20:20 +08:00

广告?

GrahamCloud

2017-02-27 16:53:30 +08:00

@skywayman 不是不是

sohoer

2017-02-27 17:09:22 +08:00

这么久了数据还是对不齐，哈哈

eminemcola

2017-02-27 17:37:52 +08:00

@GrahamCloud 哪儿都好！

mingyun

2017-02-27 22:58:54 +08:00

还录制视频，赞一个

F0nebula

2017-02-28 00:25:58 +08:00

在 https://dashboard.zaoshu.io/ 隔几秒弹出 [任务列表中没有任务]
以及现在竖屏打开首页还是没有显示图标

GrahamCloud

2017-02-28 11:22:44 +08:00

@sohoer 哪个数据，很多都改正了啊。

GrahamCloud

2017-02-28 11:23:23 +08:00

@mingyun 新功能还会配视频的。

GrahamCloud

2017-02-28 11:24:23 +08:00

@F0nebula 竖屏是不支持，弹出这个求问详细。

Anine

2017-02-28 12:43:37 +08:00 via iPhone

有 API 吗

GrahamCloud

2017-02-28 13:56:59 +08:00

@zhouxu417 马上会上，可以提需求一块琢磨。也欢迎加团队微信： Zaoshuio

lingoerer

2017-02-28 17:52:40 +08:00

数据爬出来放 Excel 差评啊……

GrahamCloud

2017-02-28 18:24:15 +08:00

@lingoerer 为啥差评，输出还有很多其他格式可以选择啊。

F0nebula

2017-02-28 20:23:44 +08:00

@GrahamCloud #11 好吧
没有任务时一直弹出

在 https://dashboard.zaoshu.io/

F0nebula

2017-02-28 20:27:55 +08:00

参考了 https://www.v2ex.com/t/332852

GrahamCloud

2017-03-01 11:53:54 +08:00

@F0nebula 感谢，求加微信： Zaoshuio

NirvanaCN

2017-03-01 15:36:51 +08:00

上次抓 JD 的数据抓了十分钟什么也没抓到还报错了

GrahamCloud

2017-03-01 15:59:16 +08:00

@NirvanaCN 现在好了没有，没有就再解决一下。

jijiwaiwai

2017-03-02 12:47:13 +08:00

@NirvanaCN JD 有防爬虫机制，可以切换代理
http://www.infosec-wiki.com/?p=344

jijiwaiwai

2017-03-02 12:47:51 +08:00

打造自己的云爬虫； http://www.infosec-wiki.com/?p=308

GrahamCloud

2017-03-02 12:53:06 +08:00

@jijiwaiwai 文章很有意思。

GrahamCloud

2017-03-02 13:00:02 +08:00

@jijiwaiwai 架构很有意思，求加微信： Zaoshuio

Reign

2017-03-03 13:42:39 +08:00

一直搞不懂这种云爬虫优势在什么地方，实际爬网站的时候遇到的情况千变万化，控制频率、切换代理、验证码、邮箱验证、手机验证、伪装 header 等等，各种网站反爬虫系列一个比一个厉害，遇到没 header 的，加入黑名单，遇到只请求内容不请求 css 的，加入黑名单，遇到 phantomjs 的，加入黑名单，请求次数太猛的，加入黑名单。如果真的是爬一个简单的新闻页面， chrome 一个 F12 ，几分钟就创建一个爬虫，还需要在页面上点过去点过来啊？

LittleWhiteMouse

2017-03-03 14:10:10 +08:00

@Reign +1

想爬的时候用它爬不成，不是工具不好，是肯定被各种反杀。

可视化选择很好，但是想选中合适的元素并不容易，除非可以自己定制选择器……

都这么麻烦了，自己写个油猴脚本也就把事情办了，效率是低了点，但是被杀的可能性也低了，工作量不是很大的情况已经足够用了

GrahamCloud

2017-03-03 14:21:06 +08:00

@Reign 说的有道理，目前解决一些完全没编程基础的分析人士基本采集数据的需求，还是反响不错的。
你说的反爬，验证，我们都会一个个完善的。
欢迎加团队微信： Zaoshuio
期待更多意见

GrahamCloud

2017-03-03 14:22:00 +08:00

@LittleWhiteMouse 就是因为有反杀的才有一点商业价值啊， v2 都是程序员背景为主，其实还有很多人还是最原始的方式抓取信息。

LittleWhiteMouse

2017-03-03 14:26:40 +08:00

@GrahamCloud #28

可以自己输入选择器么？作为高级功能，现在的可视选择很多情况下只是让人窝火

GrahamCloud

2017-03-03 19:57:53 +08:00

@LittleWhiteMouse 暂时不会支持选择器功能，以后可能会上。

Livid

MOD

2017-03-06 11:56:02 +08:00

Moved to /go/promotions

duhai973

2017-04-22 15:17:54 +08:00

高不成，低不就