V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
fywf555
V2EX  ›  问与答

转行大数据,工作了大半年天天写 sql 的我该何去何从!

  •  
  •   fywf555 · 2019-10-09 22:43:43 +08:00 · 4294 次点击
    这是一个创建于 1879 天前的主题,其中的信息可能已经有所发展或是发生改变。
    坐标上海,进了一家国企外包,过得还挺安逸,每天的工作就是不停的写 sql。之前如此热爱学习的我现在渐渐麻木,本来的 spark 和 scala 都忘得差不多了,现在心里就是慌,很慌。公司转正很困难不打算留下明年就跑,现在危机感越来越强。剩下小半年想改变命运,现在的想法是抱着一本 spark 源码分析的书啃,然后把东西照搬上博客,这样来年找工作会不会好一点
    6 条回复    2019-10-10 15:07:11 +08:00
    locoz
        1
    locoz  
       2019-10-09 23:01:19 +08:00 via Android
    做点深入的、自己平时搞点别的,一定要依靠公司才能成长 /公司钱给不够的话,早点换下一家。
    dawnchen123
        2
    dawnchen123  
       2019-10-10 11:12:56 +08:00 via Android
    老哥是自学转行吗?
    fywf555
        3
    fywf555  
    OP
       2019-10-10 12:14:47 +08:00 via iPhone
    @dawnchen123 培训的,简历造假写 3 年工作经验。我能隐约感觉你想问啥,关于自学不自学不要听别人胡扯,培训经历不可耻,学的不好才可耻,我学的很 happy,还认识不少人。
    大学学的炼钢时候,顺便自学游戏设计,结果出来都骂我是野生程序员。外行转行就应该把假简历砸到人事的脸上,然后互相伤害。我上次找工作被人事揭穿后斗志斗勇一个星期,最后人事都对我的无赖表示钦佩。

    在行内就只能自学了。。。
    fywf555
        4
    fywf555  
    OP
       2019-10-10 12:24:08 +08:00 via iPhone
    @locoz 谢老哥,关键怎么是不知道怎么深入啊,下一份工作能不能找到对口的我都不确定。我在网上随便看的,说把 spark 源码背下来就有底气了。我 spark 最多就是写 rdd 代码打包扔进服务器启动的水平,估计没啥竞争力。
    dawnchen123
        5
    dawnchen123  
       2019-10-10 12:55:59 +08:00 via Android
    @fywf555 老哥不要多想我没别的意思。我本意是想请教下你自学大数据开发的一些经验的呢。😄
    fywf555
        6
    fywf555  
    OP
       2019-10-10 15:07:11 +08:00 via iPhone
    @dawnchen123 先搭集群,搭集群尤其自己搭那是非常难,虚拟机不建议用。简化流程,你可以买百度的云主机,100 多点一台能用 1 年,有钱你买 3 台。

    困难路线:
    搭 3 台的土豪线路:每个主机安装一 hadoop,然后 3 台主机彼此之间做免密钥。这 3 台 hadoop 主机就可以看做一个整体。然后安装 zookeeper,spark。

    然后点开 eclipse 或者其他什么软件,安装依赖,然后自己用代码生成数据集,之后用 scala 写一个脚本 rdd 转化流程。从数据集中读取数据,然后处理后落地 hadoop 文件夹中。rdd 具体写什么可以上网找找有没有相关题目。

    测试没错后打包扔进去服务器。使用 spark 命令行进行启动,落地数据。

    很有条件再上个 azkaba 调度器。

    比较简单的线路:
    搭一台线路:安装 hadoop,安 zookeeper,安装 spark,然后点开 sparkshell,把网上找来的代码复制粘贴到里面看看会发生什么。

    很简单的线路:
    上网找个教程,比如尚硅谷,然后跟着听课跟着做。人家水平不错的。

    我推荐最后一种。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2539 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:35 · PVG 23:35 · LAX 07:35 · JFK 10:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.