推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
flyycn
V2EX  ›  Python

celery 自动停止运行怎么解决

  •  
  •   flyycn · Apr 22, 2019 · 4889 views
    This topic created in 2601 days ago, the information mentioned may be changed or developed.

    项目采用了 celery 进行异步操作,但是 celery 运行很多任务后自动停止运行假死,目前我采取的是手动重新启动 celery,有的大神说这是 celery 的 bug,怎么解决? backend 用的是 redis.

    7 replies    2019-04-29 18:14:20 +08:00
    NaVient
        1
    NaVient  
       Apr 22, 2019
    定时重启,这个问题很普遍
    gnozix
        2
    gnozix  
       Apr 22, 2019
    你这个`自动停止运行假死` 是个什么哦,我遇到过一个定时任务延迟或长时间执行不了的问题,是队列里的任务阻塞导致的。不知道你的是什么情况。
    NaVient
        3
    NaVient  
       Apr 22, 2019
    @NaVient #1 Celery 还提供 CELERYD_FORCE_EXECV = True 这个设置来防止假死,但是然并卵,只是减少次数,但是还是会假死
    rogwan
        4
    rogwan  
       Apr 22, 2019 via Android
    你的 celery 开机是怎么启动的?
    jesnridy
        5
    jesnridy  
       Apr 22, 2019
    服务器内存使用率是怎样的。看下有没有配置 CELERYD_MAX_TASKS_PER_CHILD ( worker 最多执行多少个任务,超过就销毁),官方默认是不限制的
    hanssx
        6
    hanssx  
       Apr 25, 2019
    celery 生产环境用 rmq 好些吧,CELERYD_MAX_TASKS_PER_CHILD 这个参数按照楼上的设置个值试试,或者 celery 版本换成 3.6 的最后一个版本?楼主用的 4.2 ?
    仅供参考
    ziwen1942
        7
    ziwen1942  
       Apr 29, 2019
    # celery 的启动工作数量设置
    CELERY_WORKER_CONCURRENCY = 5
    # celery 的 worker 执行多少个任务后进行重启操作
    CELERY_WORKER_MAX_TASKS_PER_CHILD = 200
    这个在配置文件里写清楚,不然塞内存
    核心逻辑:排队等死
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5377 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 08:51 · PVG 16:51 · LAX 01:51 · JFK 04:51
    ♥ Do have faith in what you're doing.