V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jugelizi
V2EX  ›  Java

几万条数据批量写入消息队列哪种支持好

  •  
  •   jugelizi · 2020-04-19 12:12:27 +08:00 · 5304 次点击
    这是一个创建于 1681 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一次性发送短信 写到消息队列一条条发送 那么写入时一条条写进去 用哪种消息队列合适啊

    22 条回复    2020-04-20 19:16:15 +08:00
    areless
        1
    areless  
       2020-04-19 12:23:46 +08:00 via Android
    我用 redis 或者共享内存加外部脚本,在 nginx 形成一个漏桶模型写入负载~~~因为我不相信会持续几万条。分摊到时间也就几分钟
    kuafou
        2
    kuafou  
       2020-04-19 12:27:36 +08:00
    丢 kafka 里没有任何压力
    rockyou12
        3
    rockyou12  
       2020-04-19 12:29:56 +08:00   ❤️ 1
    才几万条……扔 kafka 它感觉都没有
    hncqp
        4
    hncqp  
       2020-04-19 12:32:03 +08:00 via iPhone
    kafka
    misaka19000
        5
    misaka19000  
       2020-04-19 12:34:36 +08:00
    redis or kafka
    Mmiracle110
        6
    Mmiracle110  
       2020-04-19 12:45:00 +08:00
    kafka rocketmq 都行吧
    watzds
        7
    watzds  
       2020-04-19 12:45:12 +08:00 via Android
    这么点哪种会有压力啊
    niubee1
        8
    niubee1  
       2020-04-19 14:24:43 +08:00
    这个 tinny 级别的数据量, 随便啥都能行
    billlee
        9
    billlee  
       2020-04-19 14:25:07 +08:00
    几万条批量写入用 mysql 存都没有压力(当然不推荐这样搞)
    cominghome
        10
    cominghome  
       2020-04-19 14:37:18 +08:00
    楼主这个问题其实可以引申为“不要过早优化”。因为大部分被关注的框架、中间件性能方面都不会有很严重的问题,你只需要考虑易用和后续支持就可以了。几万条的数据给 rocketmq 这种 warm up 可能都做不到(当然,我不知道 rocketmq 有没有 warm up 这个过程)
    wangyzj
        11
    wangyzj  
       2020-04-19 15:32:14 +08:00
    任何都行
    L1shen
        12
    L1shen  
       2020-04-19 16:19:41 +08:00
    rabbitmq
    binbinyouliiii
        13
    binbinyouliiii  
       2020-04-19 17:21:15 +08:00 via Android   ❤️ 3
    kafka:"开始了吗?" 程序:"已经结束了"
    hspeed18
        14
    hspeed18  
       2020-04-19 18:16:54 +08:00
    搞笑,几万条有个鸡儿的压力
    xcstream
        15
    xcstream  
       2020-04-19 18:27:36 +08:00
    放在数组里 循环吧(滑稽)
    Lonely
        16
    Lonely  
       2020-04-19 19:01:50 +08:00 via iPhone
    市面上常用的随便一款都行吧
    zxlzy
        17
    zxlzy  
       2020-04-19 19:11:58 +08:00 via Android
    才几万条数据,你随便哪个都行啊。
    RedBeanIce
        18
    RedBeanIce  
       2020-04-19 19:32:50 +08:00
    @binbinyouliiii 原谅我笑了
    Aresxue
        19
    Aresxue  
       2020-04-19 22:51:09 +08:00
    才几万条。。。别引入中间件了,直接用个线程池得了
    feelinglucky
        20
    feelinglucky  
       2020-04-20 11:15:40 +08:00
    数据库不大,我估计楼主是对可靠性的诉求更多一点吧?
    raysonlu
        21
    raysonlu  
       2020-04-20 13:46:09 +08:00
    你是担心大量写进去导致崩溃还是什么?分享一个案例,几万条数据写入 redis 队列,写入请求一下子就完成没问题,但即时查询队列时,部分数据依然查不到,等个一两分钟就好了,疑似 redis 接收了请求和再一一写入。
    jugelizi
        22
    jugelizi  
    OP
       2020-04-20 19:16:15 +08:00 via iPhone
    @raysonlu 我就是想 redis 有个管道可以批量写入 其他的队列没找到
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1834 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 16:29 · PVG 00:29 · LAX 08:29 · JFK 11:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.