KJH 最近的时间轴更新 KJH 最近的时间轴更新 |
KJHV2EX 第 636697 号会员，加入于 2023-07-01 15:34:13 +08:00今日活跃度排名 828 |
KJH 最近回复了
14 小时 42 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
16 小时 29 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
18 小时 40 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
@v2day 看来只能是从 StarRocks 和 doris 这里面入手了，整体架构还得在调整下，但我们目前已经有了 MYSQL 做数据仓，不太可能替换为 StarRocks ,只能考虑 数据仓 到 StarRocks 这步。
20 小时 21 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
@jon202107 这个方案我们也考虑过，查询的时候带版本号意味着也要做去重的那种操作，我们改动比较大，所以后面放弃了
@JRay 我上午 了解了下，StarRocks 或者 doris 确实是比较合适的方案，我再深入研究研究
@vacuitym final 相当于合并了，而且没办法表关联查，后来我们就 pass 掉这个方案了
@glacer 通过查询指的还是 final 或者 argMax 这些近些处理吧
@NotLongNil 是的，有考虑个轻量级删除，不过还没实际测试，我想的是 如果每 5 分钟删一次，会不会有其他潜在问题，后面我测试下
@JRay 我上午 了解了下，StarRocks 或者 doris 确实是比较合适的方案，我再深入研究研究
@vacuitym final 相当于合并了，而且没办法表关联查，后来我们就 pass 掉这个方案了
@glacer 通过查询指的还是 final 或者 argMax 这些近些处理吧
@NotLongNil 是的，有考虑个轻量级删除，不过还没实际测试，我想的是 如果每 5 分钟删一次，会不会有其他潜在问题，后面我测试下
21 小时 36 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
@ranxy 我们比较依赖云服务商，他们没 tidb 这个产品 [捂脸]
@suixn 好 ，刚刚有位大佬也让我看了看 doris ，我看了下这两个确实比较适合数据频繁更新的场景，我再深入研究研究
@xiaolongorigino 宽表确实是在计算引擎中生成的，报表查询的时候通过 ck 查宽表，hbase 我了解下
@Desdemor 确实，我们更新的时候，并发一多，处理的任务就堆积下来了
@suixn 好 ，刚刚有位大佬也让我看了看 doris ，我看了下这两个确实比较适合数据频繁更新的场景，我再深入研究研究
@xiaolongorigino 宽表确实是在计算引擎中生成的，报表查询的时候通过 ck 查宽表，hbase 我了解下
@Desdemor 确实，我们更新的时候，并发一多，处理的任务就堆积下来了
22 小时 5 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
@hongye 我们对实时性要求很高，想数据发生变化后 立刻就能看到报表的变化，最少也得 5-10 分，但这个数据量要同步更新到 clickhouse 以及跑宽表 ，这么短时间确实不太好做到
22 小时 19 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
@skymei 我看看
22 小时 20 分钟前 回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助 |
@hongye 之前了解过物化视图，只能监听到源表新增的数据，如果数据变更 是不会触发物化视图的，不太适合我们的场景 T.T
Select Language