如果生产者的生产速度大于消费者的消费速度,在不增加消费者的情况下,celery 会怎么处理任务堆积的问题 丢弃任务还是生产者无法写入? ps:celery 的官方文档各位还能打开吗,我的打不开了
1
julyclyde 2022-03-17 14:20:13 +08:00
会导致队列变长
|
5
Rebely 2022-03-17 14:50:24 +08:00
redis 内存吃光报错?
任务最好要加过期时间( expires )的吧 |
6
zhoudaiyu 2022-03-17 14:58:39 +08:00
会占用 broker ( redis )的内存,异步任务会延迟
|
8
bulay OP |
11
so1n 2022-03-17 15:46:40 +08:00
|
12
fengjianxinghun 2022-03-17 15:57:45 +08:00
@Rebely celery 超时实现的也不靠谱。。celery 就是个传销软件,bug 奇多,设计复杂
|
13
bulay OP @fengjianxinghun 还有别的靠谱的分布式异步任务队列吗
|
14
fengjianxinghun 2022-03-17 16:51:43 +08:00
@bulay 没有,只有自己写的靠谱。
|
15
fengjianxinghun 2022-03-17 16:52:20 +08:00
我就没见过任何一个能正确硬超时的异步任务队列系统。。
|
16
fxxkgw 2022-03-17 19:09:51 +08:00
celery 任务本身要做成异步
|
17
cz5424 2022-03-17 20:02:54 +08:00 via iPhone
如果不特别处理会一直堆下去,可以把 task id 存起来,发现堆积主动丢弃
|
18
lesterholy 2022-03-18 07:33:20 +08:00
个人用过 dask 并没有深入对比过这两者,用的不精,楼主有时间可以研究研究
|
19
bulay OP |
20
leven87 2022-03-18 13:31:23 +08:00
|
21
xiaoxiaoyizhi 2022-03-18 21:40:50 +08:00
有小伙伴想和 Googler 一起开发一个开源项目吗?
如果你每周有 5 天都能投入半小时以上的时间,即可参加 有一个组 HPA for Task Queue ,需要对 Celery 感兴趣的小伙伴加入 感兴趣,可加我 wx: love9871112 |