V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
my8100
V2EX  ›  Python

如何简单高效地部署和监控分布式爬虫项目

  •  1
     
  •   my8100 ·
    my8100 · 2018-11-14 22:44:31 +08:00 · 4134 次点击
    这是一个创建于 1961 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求分析

    • 初级用户:
      • 只有一台开发主机
      • 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目,以及通过 Scrapyd JSON API 来控制爬虫,感觉命令行操作太麻烦,希望能够通过浏览器直接部署和运行项目
    • 专业用户:
      • 有 N 台云主机,通过 Scrapy-Redis 构建分布式爬虫
      • 希望集成身份认证
      • 希望在页面上直观地查看所有云主机的运行状态
      • 希望能够自由选择部分云主机,一键部署和运行爬虫项目,实现集群管理
      • 希望自动执行日志分析,以及爬虫进度可视化
      • 希望在出现特定类型的异常日志时能够及时通知用户,包括自动停止当前爬虫任务

    安装和配置

    1.所有主机都已经安装和启动 Scrapyd
    2.开发主机或任一台主机安装 ScrapydWeb

    pip install scrapydweb
    

    3.运行如下命令,将在当前工作目录生成 scrapydweb_settings.py 配置文件

    scrapydweb -h
    

    4.启用 HTTP 基本认证

    ENABLE_AUTH = True
    USERNAME = 'username'
    PASSWORD = 'password'
    

    5.添加 Scrapyd server,支持字符串和元组两种配置格式,支持添加认证信息和分组 /标签

    SCRAPYD_SERVERS = [
        '127.0.0.1',
        # 'username:password@localhost:6801#group',
        ('username', 'password', 'localhost', '6801', 'group'),
    ]
    

    6.启动 ScrapydWeb

    scrapydweb
    

    访问 Web UI

    通过浏览器访问 http://127.0.0.1:5000,输入认证信息登录

    • Overview 页面自动输出所有 Scrapyd server 的运行状态
    • 通过分组和过滤可以自由选择若干台 Scrapyd server,调用 Scrapyd 提供的所有 JSON API,实现一次点击,批量执行 overview

    部署项目

    • 支持指定若干台 Scrapyd server 部署项目
    • 通过配置 SCRAPY_PROJECTS_DIR 指定 Scrapy 项目开发目录,ScrapydWeb 将自动列出该路径下的所有项目,自动打包和部署指定项目 deploy
    • 如果 ScrapydWeb 并非运行于当前开发主机,除了支持上传常规的 egg 文件,也可以将单个项目文件夹添加到 zip/tar/tar.gz 压缩文件后直接上传即可 deploy_file

    运行爬虫

    • 通过下拉框直接选择 project,version 和 spider
    • 支持传入 Scrapy settings 和 spider arguments
    • 同样支持指定若干台 Scrapyd server 运行爬虫 run

    日志分析和可视化

    • ScrapydWeb 默认在后台定时自动读取和分析 Scrapy log 文件并生成 Stats 页面 stats
    • 爬虫进度可视化 progress

    邮件通知

    1.配置邮箱认证信息

    SMTP_SERVER = 'smtp.qq.com'
    SMTP_PORT = 465
    SMTP_OVER_SSL = True
    SMTP_CONNECTION_TIMEOUT = 10
    
    FROM_ADDR = '[email protected]'
    EMAIL_PASSWORD = 'password'
    TO_ADDRS = ['[email protected]']
    

    2.设置邮件工作时间和定时通知间隔,以下示例为:每隔 1 小时或某一任务完成时,并且当前时间是工作日的 9 点,12 点和 17 点,ScrapydWeb 将会发送邮件告知当前运行任务的统计信息

    EMAIL_WORKING_DAYS = [1, 2, 3, 4, 5]
    EMAIL_WORKING_HOURS = [9, 12, 17]
    ON_JOB_RUNNING_INTERVAL = 3600
    ON_JOB_FINISHED = True
    

    3.基于后台定时执行日志分析,ScrapydWeb 提供多种 log 类型触发器及其阈值设置,包括 'CRITICAL', 'ERROR', 'WARNING', 'REDIRECT', 'RETRY', 'IGNORE'等。以下示例为:当发现 3 条或 3 条以上的 critical 级别的 log 时自动停止当前任务,如果当前时间在邮件工作时间内,则同时发送通知邮件。

    LOG_CRITICAL_THRESHOLD = 3
    LOG_CRITICAL_TRIGGER_STOP = True
    LOG_CRITICAL_TRIGGER_FORCESTOP = False
    ...
    LOG_IGNORE_TRIGGER_FORCESTOP = False
    

    Github 开源

    my8100/scrapydweb 更多实用功能正在开发中,欢迎 Star 和提交 Issue

    第 2 条附言  ·  2018-11-21 12:58:23 +08:00

    V2EX 文章发布后不能随时更新,图片容易挂,移步查看最新版本

    9 条回复    2018-11-15 16:24:10 +08:00
    Nick2VIPUser
        1
    Nick2VIPUser  
       2018-11-14 23:36:07 +08:00
    给大佬赞一个
    find456789
        2
    find456789  
       2018-11-14 23:45:06 +08:00
    感觉 Scrapy 有个缺点,就是无法在 flask 中调用 , 类似调用 requests 那样, 请问楼主有办法吗
    my8100
        3
    my8100  
    OP
       2018-11-14 23:52:24 +08:00
    @find456789 之前有用过 subprocess 调用 docker 内的 Scrapy + Scrapyd
    lujiajing1126
        4
    lujiajing1126  
       2018-11-15 04:48:05 +08:00
    为啥不用 Jenkins
    AX5N
        5
    AX5N  
       2018-11-15 05:40:39 +08:00
    @find456789 印象中是可以的,我指的好像是可以在 python 的代码里可以启动 scrapy 的,你找文档看看。
    chengxiao
        6
    chengxiao  
       2018-11-15 08:51:09 +08:00
    想请教下大佬 scrapy-redis 怎么做到爬多个 spider ?
    vincekang
        7
    vincekang  
       2018-11-15 09:21:57 +08:00
    支持
    111qqz
        8
    111qqz  
       2018-11-15 16:22:12 +08:00   ❤️ 1
    111qqz
        9
    111qqz  
       2018-11-15 16:24:10 +08:00
    先 star 为敬
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2927 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 00:30 · PVG 08:30 · LAX 17:30 · JFK 20:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.