做了一个可以以任意周期抓取任意网站数据的网站

[timqian]

地址： https://cloudfetch.info/

一些事例应用：

• Hackernews 每日最佳
• GitHub 每日 Trending
• V2EX 每日热门帖子
• 你的好点子💡

欢迎使用以及提供反馈

感谢大家的试用，刚在首页添加了使用方法说明。

https://cloudfetch.info/

这个产品的初衷主要是两点：

1. 用户只需通过简单的几次点击，就可以制作出一个对任意页面的特定部分进行周期性抓取的 fetcher “爬虫？”
2. 用户可以订阅别人制作的的 fetcher，或者制作有趣的 fetcher 给大家用

[golmic]

需要自己写解析规则吗～

[logOo]

pxxhub

[jisibencom]

然后怎么按天保存呢？

[widewing]

能转成 rss 吗

[Michelangelono]

看不懂

[timqian]

@golmic 想法是只需要点击页面特定部分，自动生成解析规则，刚在首页添加了使用方法说明
@Michelangelono 刚在首页添加了使用说明

[timqian]

@jisibencom 保存在 cloudfetch 的数据库中

[timqian]

@widewing 暂时没有这个功能，目前可以使用邮件方式订阅感兴趣的内容

[LanAiFaZuo]

有没有中文的用法介绍？英文逼格太高看不懂。

[iConnect]

不用分布式爬虫，抓多了，对方屏蔽了你的请求很快就费了阿

[timqian]

@LanAiFaZuo 谢谢建议，尽快加上

[qsnow6]

烧录 rss 是个不错的需求

[timqian]

@iConnect 目前支持的最高抓取周期是 1h，所以还好。如果这个站能做起来，确实是需要考虑这个问题，因为有可能很多用户都在抓同一个站。谢谢你的建议

[iyangyuan]

虽然抓取频率低，但是每次抓取都有大量请求，如果没有代理，很快就会被识别到

[codelover2016]

感觉没有八爪鱼腻害,还有神剑云....

[timqian]

@codelover2016 谢谢，第一次听说这两个😂

[timqian]

@iyangyuan 每个 fetcher 每次抓取只做一个 http 请求

[Spoter]

可以抓 Google Play 商店每日的截图吗