应届,入职一个多月。分到了运营运维小组,主要是业务数据的运维指标开发。下半年准备使用大数据技术对运维平台进行架构改造。有百万级别的终端日志数据上报,需要搭建一个高可靠、低时延的数据接入平台,最好实现实时计算。
之前主要玩 Java 的后台开发(主要是 SpringBoot、Redis、MySQL、Docker、K8S... 分布式微服务系统架构这一整套),实战过一些机器学习算法应用,感觉运维和大数据的技术栈都太丰富了,有没有大佬有好的学习文档、资料、视频。
- Kafka
- Zookeeper
- Hadoop ( HDFS、MapReduce、YARN )
- Spark
- Flume
- Kibana
- ELK
- Flink
- Grafana
之前也只有接触过,Kafka, Zookeeper,感觉一下子这么多技术栈,学习有点吃力! 有人可以讲讲目前互联网一线大厂的主流技术栈吗?