首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
有没有一种分布式管理程序的的系统来管理自己写的小爬虫
wellhome
·
2020-12-11 12:06:05 +08:00
· 968 次点击
这是一个创建于 1444 天前的主题,其中的信息可能已经有所发展或是发生改变。
比如我写了一个小爬虫, 安装在许多机器上。
有没有管理系统,把爬虫小程序变成 service,集中开停和监控?
我知道 scrapyd 有分布式的结构。 我想是不是有一种通用的系统。
爬虫
分布式
scrapyd
管理
2 条回复
•
2020-12-17 18:52:49 +08:00
1
unique
2020-12-11 12:08:57 +08:00 via iPhone
1
Crawlab
2
wellhome
OP
2020-12-17 18:52:49 +08:00
@
unique
多谢兄弟
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2780 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms ·
UTC 07:44
·
PVG 15:44
·
LAX 23:44
·
JFK 02:44
Developed with
CodeLauncher
♥ Do have faith in what you're doing.