V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Zackkkk  ›  全部回复第 2 页 / 共 2 页
回复总数  30
1  2  
更正下 druid 不适合有太多高基数字符串字段(如 uid 这种),不是低基
我们的数据量在 PB 级,目前我的项目用到的数据库:
Mysql:业务 OLTP,数据量太大,后迁至 TiDB
TiDB:业务 OLTP,不需要分库分表,前期坑比较多,需要专门的人维护。
Presto/Hive:大数据量的离线数据存储,数据仓库,数据可导到 Druid 与 ClickHourse。简单可以通过 Presto 直接查询 Hive,不过效率比较低。
Druid:统计数据可预计算,不适合数据检索,但不能有太多低基字段,否则存储成本高。我们用在数据统计计算
ClickHourse:适合统计与数据检索,性能在 Presto 与 Druid 之间,但不能作为持久存储,一般 TTL 半年,否则存储成本太高。若需要大数据量的检索则选这个比较合适,目前我们用在前端数据上报。
我们的做法,所有源数据放在 Hive(数仓)上,查询要求不高的,直接通过 Presto 引擎查询 Hive 数据,TB 级别的复杂查询会在分钟级。
需要比较实时高效的查询分析,把 hive 数据导到 Clickhourse/Druid,或者直接上报到 Clickhourse/Druid,查 Clickhourse/Druid 数据。
2019-11-28 18:15:44 +08:00
回复了 Zackkkk 创建的主题 程序员 网易裁员的事情未过,名创优品威胁病危员工又来?
@zsy979 你居然把这种事情当作负能量,是谁的负能量呢?受害者的负能量?受害者勇敢站出来发声,希望得到认可与关注,甚至是获取公正公义,这是负能量?这怎么看都是抗争不公的正能量吧,只有你这种人发表“这又能怎样”的言论才是负能量吧。
2019-11-28 11:55:12 +08:00
回复了 Zackkkk 创建的主题 程序员 网易裁员的事情未过,名创优品威胁病危员工又来?
@weiruanniubi 我明白你无奈的意思。但想改变其实也别想得那么高大上,那么困难,要什么勇敢的站出来。就像现在的讨论,看一下文章也是一种支持的方式。
2019-11-28 11:37:30 +08:00
回复了 Zackkkk 创建的主题 程序员 网易裁员的事情未过,名创优品威胁病危员工又来?
@weiruanniubi 当事情发生在你身上的时候,你会觉得无聊吗?
2019-10-12 18:30:08 +08:00
回复了 deep777blue 创建的主题 程序员 碰到这样的开发,你想说什么?
所以是在黑 java 程序员吗?
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5345 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 09:29 · PVG 17:29 · LAX 01:29 · JFK 04:29
Developed with CodeLauncher
♥ Do have faith in what you're doing.