V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
thomaswang
V2EX  ›  问与答

mysql 写的量比较大每日 20 亿次, 读写比是 1:20, 如何设计数据库的架构

  •  
  •   thomaswang · 2019-07-18 13:27:37 +08:00 · 3588 次点击
    这是一个创建于 1716 天前的主题,其中的信息可能已经有所发展或是发生改变。
    22 条回复    2019-07-19 09:24:32 +08:00
    glacer
        1
    glacer  
       2019-07-18 13:48:49 +08:00
    换 MongoDB
    dapang1221
        2
    dapang1221  
       2019-07-18 13:52:18 +08:00
    什么业务这么大量的写…读对实时性有要求吗…
    dongisking
        3
    dongisking  
       2019-07-18 14:09:06 +08:00 via Android
    先关注一下,看楼下发言
    luckyrayyy
        4
    luckyrayyy  
       2019-07-18 14:12:07 +08:00
    楼下不会...
    aaahhh123
        5
    aaahhh123  
       2019-07-18 14:14:14 +08:00
    ma yixai
    stockCHEN
        6
    stockCHEN  
       2019-07-18 14:15:08 +08:00
    物联网吗?
    zidian9
        7
    zidian9  
       2019-07-18 14:22:34 +08:00
    分库分表写,每过一段时间把老的数据(不怎么用的)移到数据仓库里面去
    数据仓库里面读的时候加个缓存
    sujin190
        8
    sujin190  
       2019-07-18 14:31:47 +08:00
    这种数据是不是不适合存数据库,这么大量,保存下来似乎也没多大用,索引太大查询不了,最好就是 kafaka 然后 flink 直接计算结果就是了,没必要保存吧,需要保存最好就纯文本文件存入 hdfs,需要统计啥的直接 hadoop 或者 flink 读出来直接计算更快吧

    mysql 在索引太大无法使用,需要直接读取磁盘全表扫描的时候似乎读取磁盘速度很慢,而纯文本顺序 io 读出来直接计算更快
    c0878
        9
    c0878  
       2019-07-18 14:40:10 +08:00
    写入量大没问题 关键看这些数据后续要来做什么 然后根据数据消费的情况 选择不同的存储引擎 可能 mysql 不是最好的选择
    thomaswang
        10
    thomaswang  
    OP
       2019-07-18 14:40:13 +08:00
    @stockCHEN 你的回到真的亮了, 去物联网公司面试, 面试官提的问题
    thomaswang
        11
    thomaswang  
    OP
       2019-07-18 14:40:33 +08:00
    @dongisking 我不会,在请教, 咱们一起看大神的留言吧
    rockyou12
        12
    rockyou12  
       2019-07-18 14:42:16 +08:00
    物联网用个屁的 mysql,上时时序数据库。估计是面试官故意给你埋雷
    zhchyu999
        13
    zhchyu999  
       2019-07-18 14:43:30 +08:00
    可以试试分布式数据库,比如 Tidb 之类的
    xiaoyang7545
        14
    xiaoyang7545  
       2019-07-18 15:55:11 +08:00
    这些数据要是丢 mysql 完全没有可读取性 ,不就是废数据了。
    crossoverJie
        15
    crossoverJie  
       2019-07-18 16:15:07 +08:00
    楼上提到了 确实不能用 MySQL,我们现在就是这个物联网场景,写远远大于读,建议上 MongoDB.
    scalaer
        16
    scalaer  
       2019-07-18 16:19:45 +08:00
    看你的描述我觉得 Hbase 挺适合的, 极端情况下,基于 LSM 树实现的 HBase 的写性能比 Mysql 高了一个数量级,读性能低了一个数量级。
    zhangjessey
        17
    zhangjessey  
       2019-07-18 16:48:28 +08:00
    可以考虑上时序数据库。
    taotaodaddy
        18
    taotaodaddy  
       2019-07-18 17:54:01 +08:00 via Android
    时序数据库+1
    agdhole
        19
    agdhole  
       2019-07-18 18:35:23 +08:00 via Android
    时序数据库
    XiaoXiaoNiWa
        20
    XiaoXiaoNiWa  
       2019-07-18 18:38:05 +08:00 via Android
    RocketMQ + MangoDB
    hzfyjgw
        21
    hzfyjgw  
       2019-07-18 18:41:09 +08:00 via Android
    TDengine
    feiyunruyue
        22
    feiyunruyue  
       2019-07-19 09:24:32 +08:00
    时序数据库,这么大量,不知道 prometheus 能不能行。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2835 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:20 · PVG 21:20 · LAX 06:20 · JFK 09:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.