首页   注册   登录
 Zackkkk 最近的时间轴更新
Zackkkk

Zackkkk

V2EX 第 267382 号会员,加入于 2017-11-16 09:34:54 +08:00
Zackkkk 最近回复了
更正下 druid 不适合有太多高基数字符串字段(如 uid 这种),不是低基
我们的数据量在 PB 级,目前我的项目用到的数据库:
Mysql:业务 OLTP,数据量太大,后迁至 TiDB
TiDB:业务 OLTP,不需要分库分表,前期坑比较多,需要专门的人维护。
Presto/Hive:大数据量的离线数据存储,数据仓库,数据可导到 Druid 与 ClickHourse。简单可以通过 Presto 直接查询 Hive,不过效率比较低。
Druid:统计数据可预计算,不适合数据检索,但不能有太多低基字段,否则存储成本高。我们用在数据统计计算
ClickHourse:适合统计与数据检索,性能在 Presto 与 Druid 之间,但不能作为持久存储,一般 TTL 半年,否则存储成本太高。若需要大数据量的检索则选这个比较合适,目前我们用在前端数据上报。
我们的做法,所有源数据放在 Hive(数仓)上,查询要求不高的,直接通过 Presto 引擎查询 Hive 数据,TB 级别的复杂查询会在分钟级。
需要比较实时高效的查询分析,把 hive 数据导到 Clickhourse/Druid,或者直接上报到 Clickhourse/Druid,查 Clickhourse/Druid 数据。
@zsy979 你居然把这种事情当作负能量,是谁的负能量呢?受害者的负能量?受害者勇敢站出来发声,希望得到认可与关注,甚至是获取公正公义,这是负能量?这怎么看都是抗争不公的正能量吧,只有你这种人发表“这又能怎样”的言论才是负能量吧。
@weiruanniubi 我明白你无奈的意思。但想改变其实也别想得那么高大上,那么困难,要什么勇敢的站出来。就像现在的讨论,看一下文章也是一种支持的方式。
@weiruanniubi 当事情发生在你身上的时候,你会觉得无聊吗?
105 天前
回复了 deep777blue 创建的主题 程序员 碰到这样的开发,你想说什么?
所以是在黑 java 程序员吗?
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   726 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 13ms · UTC 20:31 · PVG 04:31 · LAX 12:31 · JFK 15:31
♥ Do have faith in what you're doing.