V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xinali
V2EX  ›  Python

python rq 的这个库,可以用于分布式吗?

  •  
  •   xinali · 2016-07-29 20:46:21 +08:00 · 3022 次点击
    这是一个创建于 3042 天前的主题,其中的信息可能已经有所发展或是发生改变。

    github

    查了很多资料,中文资料基本都说可以,但是英文资料基本没有出现过,其可以用作分布式队列处理。即使官方给出的 docs 上也没有说过, v2 上有用过它作分布式处理的吗?

    分布式处理要求也就一个 master 进行 enqueue ,多个 worker(多个主机 /ip)进行 dequeue

    如果这个不行的话,有什么好用的比较好的分布式处理框架吗?

    6 条回复    2016-07-31 01:58:42 +08:00
    linnchord
        1
    linnchord  
       2016-07-29 21:33:15 +08:00
    不能吧,至少官方没有提供。

    这个库设计目的就是最简化队列功能,需要分布式建议 celery 。
    wuxqing
        2
    wuxqing  
       2016-07-30 08:19:08 +08:00
    可以,你看他自带的例子:
    https://github.com/nvie/rq/tree/master/examples

    run_worker.py 可以运行在多台主机上
    GeekGao
        3
    GeekGao  
       2016-07-30 17:29:42 +08:00
    只能应付简单的异步计算需求而已。复杂的分布式计算不是很靠谱(因为 rq 实在是太简单了,个人认为它缺少资源调度、稳定性保障和监控机制),而且对中文支持有 bug ,提交过 patch 忘记作者合了没有。
    petelin
        4
    petelin  
       2016-07-30 18:56:02 +08:00 via Android
    跑肯定能跑,你在本地启动 worker 的时候跟在不在一台机器上有关系?指定 redis 地址就得了。
    xinali
        5
    xinali  
    OP
       2016-07-31 01:29:49 +08:00 via Android
    @GeekGao 你有什么好的分布式方案吗?
    GeekGao
        6
    GeekGao  
       2016-07-31 01:58:42 +08:00
    @xinali Celery+Flower
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3700 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:43 · PVG 18:43 · LAX 02:43 · JFK 05:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.