各位大佬,小弟最近遇到一个问题,我这里现在有两千万多个独立字符串,字符串长度平均在 64 左右,想请问有没有比较好的存储方式,能否达到秒级甚至毫秒级读取这些数据
1
DoctorCat 2021-03-12 22:42:30 +08:00 1
阐述的不够清晰,读取是随机 /顺序读,还是要做字符搜索匹配?
|
2
FucUrFrd 2021-03-12 22:56:48 +08:00 via Android
Redis 秒秒钟的,不要 HBASE 浪费机器
|
3
favourstreet 2021-03-12 23:01:28 +08:00 via Android
两千万个,全连成一串也就 1 ~ 10GB,遍历一遍都可以做到秒级……
|
4
Slartibartfast 2021-03-13 00:12:59 +08:00 via iPhone
如果是为了随机读的话,放内存里就 redis,放磁盘上就 rocksdb 。
如果是顺序读,直接排好序放到磁盘上就行了。 |
5
lostpg 2021-03-13 00:17:13 +08:00 via Android
本来想说用布隆过滤器的,后来想想干脆直接上 kv 吧
|
6
xarthur 2021-03-13 08:39:51 +08:00 via iPhone
这个东西如果每个字符 4 个字节,也才 4 个多 G,8 个字节也 10 个 G 不到,随便找个内存数据库存就行了……
|