背景:
想监测某个网站的数据变化,比如某疫苗新开放预约,某 xx 不定期上架等事件。然后提醒到自己。
目前的方式是,间隔一定时间 n,发起请求跟本地数据进行比对。出现不同则推送消息给自己 [ teletgrambot ] ,不知是否还有其他更好的方式?
附:
细想这应该是一类问题 1- 获取数据 2- 规则匹配 3- 消息推送
每一个子流程都能够进行抽象,不知道目前有没有这类的工具,只需要专注核心的规则匹配逻辑,满足触发条件后给自己消息提醒。
感谢各位v友的分享,为方便后面类似需求的朋友,把自己处理这个问题的方式也分享下
大致有Huginn [功能非常强大,简直就像北冥神功,可以各处吸] ,urlwatch [提供filter能力,不知道是否支持webhook] ,Distill web monitor。 IFTTT [我比较喜欢把它当成msg通道,当然有更多好玩的玩法]
因为针对我个人的需求而言,主要考虑两点
因此,部署一套Huginn似乎感觉太过笨重。用Distill web monitor灵活性不太够。最终选择使用云函数捕获数据变化+IFTTT [完成小电报推送msg] 。或者 可以使用 github action ? [如果不违法使用协议的话]
以上,欢迎继续补充。
1
Tink 2020-12-21 09:29:01 +08:00 2
urlwatch
|
2
Atukey 2020-12-21 09:39:00 +08:00
阿里云 站点监控
|
3
omph 2020-12-21 09:47:02 +08:00 1
自己写
PowerShell (对比数据,计划任务,发邮件) |
4
eason1874 2020-12-21 09:47:38 +08:00 1
站点监控,我用腾讯云的,可以自定义 UA,只能匹配静态的 HTML 内容,JS 改过的不行,不够用就自己用云函数撸一个吧。
|
5
stardustree 2020-12-21 09:55:52 +08:00 1
Distill web monitor
|
6
xider 2020-12-21 10:00:19 +08:00 2
IFTTT? 考虑一下 Huginn,简单配置以后支持推送到 Slack/Telegram/微信等软件
|
7
SingeeKing 2020-12-21 10:00:49 +08:00 via iPhone
inoreader 前几天新出了这个功能
|
8
hello365 2020-12-21 10:27:39 +08:00 1
阿里云的站点监控,可以匹配内容,有免费的短信通知和邮件通知。
|
9
bhqt 2020-12-21 11:00:11 +08:00 1
OpenWebMonitor3 以前用来监控价格。
|
10
dingdangnao 2020-12-21 12:15:48 +08:00 1
|
11
hengshenyu 2020-12-21 14:15:19 +08:00 1
cloudflare worker 每日免费 100,000 次调用,还有 cron 服务。感觉很适合你
|
12
erwim 2020-12-21 14:28:10 +08:00 1
SiteMonitor
https://www.sitesmonitor.net/ |
13
mlhadoop OP @hengshenyu 感谢,又提供了新姿势
|
14
EEEcho 2020-12-21 15:56:01 +08:00
阿里云站点监控
|
15
lx19930805 2020-12-21 16:47:38 +08:00
刚接触,这听起来像是 RSS 订阅?
算是 RSS 订阅和爬虫的进阶吗? 因为我以前也想过,RSS 可以定时获取信息但是可自定义的东西不够,然后想到通过爬虫对比发信息给自己。 但是技术不行,不懂中间对比该学什么内容,之后就一直没动过什么念头,没碰过编程了。 |
16
docx 2020-12-21 18:44:21 +08:00
像那种机构网站的新闻列表,网页代码比较有规律的,我用的 Feed43 抓自定义源,然后绑定 IFTTT 进行推送。
现在 IFTTT 收费了,改成 Rss Bot 。 |
17
duffercn 2020-12-21 18:52:14 +08:00 via iPhone
Google Apps Script 写个自动脚本
|
18
zszhere 2020-12-21 22:40:50 +08:00 via iPhone
没有特殊的反爬机制的话 shell 里用 watch curl grep 就能撸出来个简单的实现 /doge
|
19
wenlep 2020-12-21 23:35:31 +08:00
|
20
zszhere 2020-12-22 00:38:59 +08:00
睡前随手撸了个 shell 版本监测端口的 上线还带 beep 的提示音 嘿嘿嘿
$ watch -b -n 1 'if [ -z "$(nmap 127.0.0.1 -Pn -n -sT -T4 --open -p 2333 | grep open)" ]; then echo offline; else echo online;return 1; fi' |