1
wmz000 305 天前
想知道啥需求为啥要使用 ck 做 mysql 的从库?
|
2
vincent7245 305 天前 1
1 可以,但是前提是,ck 是做分析用的,而且数据有延迟,不能做业务
2 我们用 impala+kudu ,性质和 ck 差不多,但是仅做分析用,数据是通过读取 binlog 同步的,自己写的中间件 3 不要用分析数据库做业务,不要用分析数据库做业务,不要用分析数据库做业务 |
3
ianEros 305 天前
我咋记得这个引擎是类似外表,在 ck 做的映射,查询的时候 ck 还是连到 mysql 查
一般的方案都是用 canal 同步到 ck ,或者直接用 ck 经常修改的数据同步到 ck 还要区分版本,有时候还要 merge |
4
iamfenges OP |
10
ianEros 305 天前
@iamfenges #8
我说错了,映射表的引擎是 mysql 8g 有点小,数据量大一点就不够用,如果用 canal 同步的话,离线数据还好,如果数据经常修改的话同步也很麻烦,MergeTree 同一条数据每次修改会存一条记录,同一条记录会存好几个版本 |
11
rongpx95 305 天前
可以是可以,但是考虑到性能,你还需要定时把 MySQL 视图的数据,同步到 CK, 后面基于 CK 做分析
|
14
qzwmjv 305 天前
8G 就别考虑 ck 了
|
15
mywowo 305 天前
8G 玩个啥 clickhouse
|
16
sadfQED2 305 天前 via Android
做从库没听说过,我们是 mysql binlog>kafka>flink>ck
|
17
weijancc 305 天前
楼上说内存的, 我用的是个假的 clickhouse 吗, 300w 数据量才占了 700m 内存
|
20
weijancc 305 天前
@nulIptr 而且数据量小用 clickhouse 也没什么问题, 我之前数据量 50w, 在低价云主机上的 mysql 执行复杂查询+group 要 7 秒, 而 clickhouse 是秒出结果
|
22
Frankcox 305 天前
Clickhouse 的内存占用跟什么有关?我们有个单机 8C8G 的 Clickhouse ,里面有七八个表,两三个表有十几亿行,剩下的几千万行,日常任务都是很简单的单表根据 Time 间隔 Select ,看语句执行情况内存占用很少,只有几十还是几百 M ,但是 CPU 拉满了,且一般都是分钟级别查询。
|
23
xieshaohu 305 天前
clickhouse 可以把 Mysql 表做外表,你想要分析方便,直接建立外表,然后 insert select 语法把数据快速导入到 clickhouse , 之后再基于 clickhouse 做聚合分析就行了。
|
26
wu00 305 天前
@iamfenges canal 也挺不稳定的,小项目用 docker 部署了一个单机版的用来监控 binlog ,隔三岔五的假死,翻遍了日志就是没有异常;有条件还是用云服务省心。
|
27
brader 305 天前
可以的,但是我建议你 clickhouse 库只做数据统计用,不要用于强依赖数据一致性的业务。另外 clickhouse 库一定一定要分开专门的服务器来安装,因为 clickhouse 会极致利用服务器资源,和其他软件掺杂一起,可能会影响其他软件的运行。
自动同步数据的话,你可以看看这个项目,我觉得挺好用,主要是轻量 https://github.com/brokercap/Bifrost |
29
vgbhfive 305 天前
可以把数据实时同步到 ck ,然后 ck 做数据分析,我公司就是这么搞得,实时同步工具参考 clickhouse-mysql-data-reader
|
30
iluckypig 305 天前
分析可以,业务不行。
|
31
lixintcwdsg 305 天前
现在大部分公司就是这么用的,从 mysql binlog 那边同步入 CK
ck 就是个只读的从库 |