再谈大数据,光知道 Hadoop 显得有些捉襟见肘,SMACK is the new buzzword !
这是一种数据处理的技术组合,S 代表 Spark (引擎)、M 代表 Mesos (容器)、A 代表 Akka (模型)、C 代表 Cassandra (存储)、K 代表 Kafka (消息队列)。
面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战,SMACK 可以解决 Hadoop 等熟知技术无法解决的诸多问题,特别是物联网化、API 化趋势下 big data 向fast data转变所带来的新需求,以及大数据处理对于Data Pipeline的依赖。
[云框架]SMACK 大数据架构,在引擎层增加了Flink用于处理实时数据,使用Kubernetes替换 Mesos 作为容器层,以某网站数据为例,提供 SMACK 大数据框架的最佳实践,包括 SMACK、数据接入、数据展示在内的完整框架。
项目地址: https://github.com/cloudframeworks-smack/user-guide-smack