V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cool1205
V2EX  ›  数据库

求助千万级数量字符串快速读取方法

  •  
  •   cool1205 · 2021-03-12 22:14:04 +08:00 · 1577 次点击
    这是一个创建于 1334 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位大佬,小弟最近遇到一个问题,我这里现在有两千万多个独立字符串,字符串长度平均在 64 左右,想请问有没有比较好的存储方式,能否达到秒级甚至毫秒级读取这些数据

    6 条回复    2021-03-13 08:39:51 +08:00
    DoctorCat
        1
    DoctorCat  
       2021-03-12 22:42:30 +08:00   ❤️ 1
    阐述的不够清晰,读取是随机 /顺序读,还是要做字符搜索匹配?
    FucUrFrd
        2
    FucUrFrd  
       2021-03-12 22:56:48 +08:00 via Android
    Redis 秒秒钟的,不要 HBASE 浪费机器
    favourstreet
        3
    favourstreet  
       2021-03-12 23:01:28 +08:00 via Android
    两千万个,全连成一串也就 1 ~ 10GB,遍历一遍都可以做到秒级……
    Slartibartfast
        4
    Slartibartfast  
       2021-03-13 00:12:59 +08:00 via iPhone
    如果是为了随机读的话,放内存里就 redis,放磁盘上就 rocksdb 。

    如果是顺序读,直接排好序放到磁盘上就行了。
    lostpg
        5
    lostpg  
       2021-03-13 00:17:13 +08:00 via Android
    本来想说用布隆过滤器的,后来想想干脆直接上 kv 吧
    xarthur
        6
    xarthur  
       2021-03-13 08:39:51 +08:00 via iPhone
    这个东西如果每个字符 4 个字节,也才 4 个多 G,8 个字节也 10 个 G 不到,随便找个内存数据库存就行了……
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1006 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:14 · PVG 05:14 · LAX 13:14 · JFK 16:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.