V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐工具
RoboMongo
推荐书目
50 Tips and Tricks for MongoDB Developers
Related Blogs
Snail in a Turtleneck
iamtuzi3333
V2EX  ›  MongoDB

想请教一下, mongoDB 是否适合海量数据存储

  •  
  •   iamtuzi3333 · 5 天前 · 1741 次点击
    小弟目前在用一个 Kafka 主题,生产者每秒发送几十条消息,消费者这边持续接收,并且存入同一个 DB 的不同 collection ,但是查阅了资料并没找到有单个 collection 的 document 数量的限制,目前每秒都会写入,一天大概就是 80 多 k 条 document 写入一个 collection ,不知道能否坚持多久,有大佬知道吗
    13 条回复    2024-05-15 14:18:58 +08:00
    Feiex
        1
    Feiex  
       5 天前
    我曾经做过几 T 的 mongo 数据存储,每日增删 2 亿条数据。
    mongo 是分布式数据库(而且可以不停机扩分片),你只要 hash 设计合理,数据节点的压力不要太大,完全能应付这个量级。
    iamtuzi3333
        2
    iamtuzi3333  
    OP
       5 天前
    @Feiex 目前没有设计 hash ,然后后续需要轮询读取最新写入的数据,大概是前几秒写入的,不知能不能扛住
    zhangxiaodao
        3
    zhangxiaodao  
       5 天前
    存储不是问题,查询才是问题。MongoDB 可以存储海量数据,但是存完了你能不能按照你的查询模式查询到你要的数据,这个才是需要考虑的。
    最后,类似的问题,给个小窍门,可以去云厂商或者商业版的网页上看看他们提供的存储限制,例如 AWS Document DB ( AWS 版的 MongoDB ),单 Collection 存储最高可以为 32 TB (未限制 document 数量),一个集群最多可以建十万个 collection 。
    mumbler
        4
    mumbler  
       5 天前
    适合,mongdb 就是专门用于大数据的,上万亿都没问题
    phrack
        5
    phrack  
       5 天前 via iPhone
    这么点数据量没必要担心
    pandaidea
        6
    pandaidea  
       5 天前 via iPhone
    赞同查询才是需要考虑的。没做好索引或者复杂查询情况下是很折磨人的。单纯储存怎么存都行。
    yinft
        7
    yinft  
       5 天前
    目前我有个单个集合,做了过期索引只保留一个月的数据,所以数据维持在三千万不到,查询的接口还是 rpc 调用,基本响应都在一秒
    lyhiving
        8
    lyhiving  
       5 天前
    mongoDB 除了在类型上区分比较明显外,很多时候用起来比 MySQL 爽太多。
    用力塞数据就是了
    lmq2582609
        9
    lmq2582609  
       5 天前
    可以,之前业务存过几十亿没有问题,并发的支持也不错,就是吃内存比较猛。另外考虑把不常用的历史数据备份到其他地方以减轻 mongodb 的数据量
    alwaysol
        10
    alwaysol  
       5 天前
    我的目前存了 2 亿多条,没任何问题
    Feiex
        11
    Feiex  
       4 天前
    @iamtuzi3333 #2 建议重新设计 hash 并做好数据平均分布,mango 天生是玩分片的,不要玩成单机模式。
    另外 mongo 有索引,hash 设计合理的话,不用太担心查询压力(可以不停机扩容)。
    这个是我做过的项目,用 mongo 解决 B 端消息暂存的问题,可以参考下: https://mp.weixin.qq.com/s/wSzu1_TM4Kark5ZfEs0EvA
    roundgis
        12
    roundgis  
       4 天前 via Android
    @Feiex 你們 mongodb 用什麼版本 6.0 ?
    Feiex
        13
    Feiex  
       4 天前
    @roundgis 5.4 。不过 6.0 也可以
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5571 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 02:59 · PVG 10:59 · LAX 19:59 · JFK 22:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.