V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Chayebao  ›  全部回复第 1 页 / 共 2 页
回复总数  22
1  2  
分母来咯 [email protected]
支持一下
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@heyline 好的 研究研究
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@yingqi1 flinkCDC 已经用上了,没法换了,现在要改进的是 ETL 。3 套从库的 ETL ,mysql 的存储过程都是一样的,每套都有 10 多张表,我想揉到一起管理
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@yingqi1 目前数据开发就我一个人,项目不大,所以只简单用了 flinkCDC 做同步,mysql 存储过程+Dolphinscheduler 做 ETL 。谢谢大佬 我研究一下。flinkCDC 已经定好了做实时同步了 可能就没法改了
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@noparking188 tidb 需要的资源呢,我们打算把 mysql 存储过程优化掉的原因就是因为存储过程太占资源,想用 java 去跑。
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@noparking188 意思是 我把我的 ETL 任务 sql 放到 tidb 上,还是用 dolphin 去调度? 那这个跟我使用 mysql 存储过程+dolphin 调度 一样的?
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@dlmy 我现在启动了 3 套 flinkCDC ,每套只有一个 JOB ,分别将主站的数据,分 type 同步到 3 个库,然后在 3 个分库,再起 flinkCDC ,实时处理数据 到 dws 层?
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@noparking188 我们这边需求有点不一样 BCD 库要能单独拿出来,所以是 3 个 mysql 地址。
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@dlmy 我这边的情况是这样的, 有一个主站,每张表有‘type’字段 A,B,C 。 我用 flinkCDC 把 type 不同的数据 分离,分别同步到 A,B,C 库。接着,在各自的库,用 mysql 存储过程+海豚调度 处理数据,汇总,做 DWS 。如果不使用 mysql 存储过程,也就是要 再各部署 3 套 flinkCDC ,用 job 去做数据汇总么,还是说写好 job , 丢到海豚调度上处理。目前海豚调度能使用 flink 的那个功能我还不知道怎么使用。
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@dlmy 我现在是用的 flinkCDC 同步,你的意思是在同步的同时 又去处理数据,做汇总?
143 天前
回复了 Chayebao 创建的主题 程序员 请教一下大数据 ETL 工具该如何选择。
@haimianbihdata 我目前就是有用到 海豚调度去调度存储过程,flinkCDC 做的数据同步,但是 etl 方面要怎么做 没太理解,大佬细说
@kivmi 单干就别想了,为爱发电呢,得有钱,当体验生活,完成人生目标
@hhjuteman 确实有道理,但是没想到游戏公司加班这么厉害
@PythonYXY 那确实是这么个道理。
@sunny352787 我是可能感觉游戏公司的氛围会好点,能和同事对得上话题,能多聊天。
@haimianbihdata 🤣🤣 没接触过游戏公司,可能是我感觉数据岗位应该都比较闲,然后又热衷于游戏,所以向往游戏公司靠
@root71370 啊? 米哈游 我不配
@sunny352787 游戏公司的数据岗位也很忙么,大概是因为比较喜欢游戏吧
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1165 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 23:03 · PVG 07:03 · LAX 16:03 · JFK 19:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.