这是一个创建于 1152 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司这方面一片空白，我也从没搞过。 但公司要准备这方面的预研。
是拿来用，而不是搞二次开发。 最好是直接拿开源的组装就行。
大家怎么选型，有什么推荐的？
现在只听说了 Hue，Hive，正在学习。 （之前只是用 Python Pandas 等数据分析）
 |
1
zhengsidao 2021-09-28 10:13:24 +08:00
有自己的集群么，还是用的云服务？
数据量是多大的呢，做大数据的场景是什么，是需求推动还是纯粹公司想做，达成什么方向 or 目的？ 大数据这一块的内容太多了，抛开业务场景去谈实践基本上扯淡。相关的组件学习、运维和使用成本都很高，如果没有经验也没有数据场景需求推动基本上干不了啥。 推荐一下阿里巴巴大数据的书籍，<大数据之路> 看完心里有个大概，再根据场景选型对应的组件来调研。 另外盲猜你的公司很小... |
 |
2
xujia1998 2021-09-28 11:34:27 +08:00
Flink ClickHouse
|
 |
3
libook 2021-09-28 12:26:21 +08:00
招个大数据架构师来搞，都是组合各种开源组件，但跟业务相关的东西还是得自己写的。
|
 |
4
dayeye2006199 2021-09-28 15:12:46 +08:00
我默认楼主需要的是类似数据仓库之流的东西，这方面运维成本很高，小公司自己做没经验的话会很痛苦。建议直接买云厂商的解决方案。例如阿里云的 maxcompute 。比较现代的解决方案一般是存算分离，存储一般用普通的 oss 。
在这个基本的仓库服务上，建议再酌情选择 数据治理，数据管道等组件。这方面可以开源和购买相结合。 |
 |
5
presto 2021-09-28 15:17:04 +08:00
Flink 、Presto Kudu
|
 |
6
yingsunwl 2021-09-28 17:19:29 +08:00
HDFS 、Hive 、Spark 、Flink 、Presto 、Kafka 、ClickHouse 、Doris 、Kylin
|
 |
7
zengqz 2021-09-28 18:35:13 +08:00
pulsar，很值得使用
|
 |
8
levelworm 2021-09-29 08:04:30 +08:00 via Android
Kafka 数据流经过 Spark 计算进 Vertica, 然后 Airflow 定时做 Transform 进数仓。
|
 |
9
zhygkx 2021-09-29 09:41:32 +08:00
大公司基本不用 Hive 了，Hive Metastore 组件还在用。
离线计算：Spark 实时计算：Flink 即席查询：Presto/Trino 存储：HDFS/OSS |
 |
10
michaelzhangcn 2021-09-29 17:09:41 +08:00
你要問問公司想要解決什麼問題
|
Select Language