V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sunchuo
V2EX  ›  程序员

寻找技术顾问: Elasticsearch、Android 底层、Kafka、Minio、分布式爬虫、Ansible

  •  1
     
  •   sunchuo · 2021-01-07 02:48:30 +08:00 · 4315 次点击
    这是一个创建于 1401 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Hi

    不好意思打扰大家了。

    是这样的:因为公司业务发展还算挺快,我们已达到能力天花板又智商不行。学习新的东西很慢,从不知道怎么搞,到大概知道怎么搞但是又没搞过,搞出来了又遇到各种各样的小问题去各种解决。

    整个过程充满选择纠结、认知不全面的不安、各种小问题一个接着一个的烦躁。精力都花在架构上而不是业务。 所以希望能在我们需要的一些领域里,找到 1 ~ n 个技术顾问。能够指导我们针对业务场景提供方案,指导快速上手,遇到问题给个思路。

    这些领域包括:

    Android 偏底层,反编译看同类的技术实现思路、保活、提升推送到达率、反反编译等。

    Elasticsearch,部署、配置、参数调优,中文支持,拼音搜索、首字母搜索、同义词搜索、纠错等。

    Kafka,部署、配置、参数调优。

    Minio,分布式部署、多域名、多用户,每个用户存储空间、请求数、流量、带宽统计。

    分布式爬虫,如何设计分布式爬虫支持多种语言的 worker 。

    Ansible,服务器初始化(升级、防火墙、sshd 修改),部署代码。

    PHP Swoole,如何用 swoole 写出虽然不快但是比也不太慢的代码。

    Q&A:

    问:你们大部分问题云服务都完美解决了,还免运维,为啥要自己折腾?

    答:成本,我们在机房租用一台机器相同硬件性能(配置不准云会超售)、带宽的情况下,云服务成本大概是 20 倍。

    问:怎么个合作方式?

    答:1. 加好友。2. 说一下自己非常擅长哪方面。3.遇到问题就问您,并且说明想要什么样的结果。4. 您如果足够胜任,评估一下要多久,想要多少钱。5. 同意。6. 您给解决问题的文档。7. 付钱。8. 文档不理解的地方可能麻烦您解释一下。9. 问题解决。 如果中间有各种各样的原因导致没成功走到 9,希望买卖不成仁义在,继续做好友,下次遇到问题从 3 继续开始走。

    问:合作会持续多久?

    答:取决于 我们业务,您,谁扛得久。取小值。

    问:不好意思谈钱怎么办?

    答:您一天工资是多少,正常上班,去掉摸鱼时间,去掉和产品经理扯皮的时间。每天有效工作时间也就 2 ~ 3 小时。您解决我们的问题需要多少个 2 ~ 3 小时,就当多少天。

    问:你们有钱么?

    答:紧巴巴的,不然就招全职了。

    问:这种人不屑于赚你这种小钱。

    答:我相信乐于助人是主因,认识几个新朋友为辅。零花钱只是.....。让知识有尊严。

    问:找不到顾问怎么办?

    答:一边自己继续慢慢扣脑袋学。一边继续找。

    问:你微信多少?

    答:sunchuo

    35 条回复    2021-01-11 09:15:15 +08:00
    asuraa
        1
    asuraa  
       2021-01-07 04:18:50 +08:00   ❤️ 3
    你这就是 又不想给云厂商钱搞定基础设施
    又不想自己花钱招人搞定基础设施
    mepwang
        2
    mepwang  
       2021-01-07 07:16:45 +08:00 via iPhone
    即使放在十几年以前,一个能从解决方案到底层都精通的顾问,一天也得一万块。算下来还是云服务更便宜呢
    JosephHan
        3
    JosephHan  
       2021-01-07 08:49:13 +08:00 via Android
    我在公司就是干这些的,年薪合人民币 20 万外加公司给包全家移民。所以你觉得给多少时薪才好意思招这个职能的顾问?我劝你们还不如直接上公共云。
    cloudhuang
        4
    cloudhuang  
       2021-01-07 08:57:49 +08:00
    > 云服务成本大概是 20 倍
    cloudhuang
        5
    cloudhuang  
       2021-01-07 09:01:51 +08:00
    > 云服务成本大概是 20 倍
    V 的这个编辑器。
    其实建议还是上云服务器,因为这个成本是确定的,比如就是 20 倍。但是兼职的问题不提,其隐形成本是不固定的,比如时间,方案的准确性,可靠性等等,这就不单单是钱的问题了。(如果有靠谱的朋友,推荐靠谱的人,则相对来说会好一些。但是这个靠谱,无法准确定义和准确评估)
    Yano
        6
    Yano  
       2021-01-07 09:03:48 +08:00
    @luodaoyi 一语中的
    lancelee01
        7
    lancelee01  
       2021-01-07 09:21:26 +08:00
    需要 ClickHoues 顾问吗[doge]
    rrfeng
        8
    rrfeng  
       2021-01-07 09:54:54 +08:00 via Android
    es kafka ansible 可接
    huruwo
        9
    huruwo  
       2021-01-07 10:56:39 +08:00
    楼上的看清楚 虽然云服务可以解决一部分但是这个

    Android 偏底层怎么云服务
    分布式爬虫架构搭建怎么云服务

    云服务不是万能药 关键还是要上真人
    sunchuo
        10
    sunchuo  
    OP
       2021-01-07 13:55:32 +08:00
    @luodaoyi
    @Yano
    我没有任何想省钱、捡便宜的想法。请仔细看 Q&A 部分。
    我们只需要指导、让我们少走弯路、快速学会。不是找人帮我们干活。

    @mepwang
    坦诚地说,我们在机房的机器硬件免费,只需要付带宽钱。10G 在各大云要多少一个月知道不?


    @JosephHan
    我给顾问付钱的算法在 Q&A 里讲的很清楚了:2 ~ 3 小时当成一个工作日付日薪。这个价格我挺好意思的。
    羡慕你年薪 20 万,祝你越涨越多。

    --------

    @cloudhuang 以我的经验来看,怼机器是最好的办法。作为一群老人我们有丰富的落后技术的经验。只是学习能力变弱了。👀 所以想找个人帮我们少走弯路。


    @lancelee01 不太了解 ClickHoues,我们是 10 亿级数据,每行大概 600k 。需要全文索引。需要更新操作。



    @rrfeng 能麻烦您加一下我微信嘛?感谢!


    @huruwo 感谢。
    lancelee01
        11
    lancelee01  
       2021-01-07 15:15:15 +08:00   ❤️ 1
    ClickHouse 是一个 MPP 架构的列式数据库管理系统,适用于数据不可变,聚合分析操作的场景。一般用于 BI,以及基于 BI 衍生出来的数据分析场景,比如风控、游戏数据分析等。
    vus520
        12
    vus520  
       2021-01-07 16:13:25 +08:00
    大规模数据,自建 IDC 的成本远低于上云的成本。
    mumubin
        13
    mumubin  
       2021-01-07 20:04:20 +08:00
    我司疫情期间自建数据中心不够用了,买了 aws 的服务,一个月 100w 刀。服务是真的贵,不过各方面做的是真的好
    hantsy
        14
    hantsy  
       2021-01-07 20:08:20 +08:00
    这个基础设施搞好,不容易。加油啦。

    话说回来,国内的云不如自己搞。
    westoy
        15
    westoy  
       2021-01-07 20:23:03 +08:00   ❤️ 1
    没戏, 真的

    大家都知道, 其实一天能集中精力干活儿的也就几个小时, 兼职顾问不可能持续性的投入精力跟进你们项目

    而且双方避嫌, 肯定要业务脱敏的啊, 这种偏底层偏架构的一旦脱离业务和规模, 很难针对性解决问题

    单一两个方面, 双方克服一下困难也就算了, 你这边是全面开花了
    firefox12
        16
    firefox12  
       2021-01-07 20:40:20 +08:00
    他的需求不是用云可以解决的, 云完成的是基础架构。 他的需求不是搭建个 es 这么简单,需要在这个领域有很多经验可以迅速解决问题的。里面任何一个点都是一道面试题。而且 他的问题是很实际的,没有实际解决过类似问题的人多半是搞不定的。
    firefox12
        17
    firefox12  
       2021-01-07 20:43:42 +08:00
    从问题上 可以看出他们的需求都是可扩展性的点,简单的说 是要这个项目的 cto, 高速 指导大家绕过所有的坑,快速的上线整个项目,保证这个项目可持续的发展。 因为他说了 他们是一群有技术的人, 准确的说 他们有一些经验,但是这些经验要支持他们从现在的量级 向 2 个量级以后扩展可能不够。 他们目前是 10 亿,他们可能要的是直接上 1000 亿的 这条路。
    undeflife
        18
    undeflife  
       2021-01-07 23:06:07 +08:00
    minio 那条 你这不就是要在 minio 上实现 S3 吗?
    hotsymbol
        19
    hotsymbol  
       2021-01-07 23:13:29 +08:00
    这不是典型的白嫖心理吗。就是不用云服务。就是要用本地服务器。因为便宜。招个人来。给多少钱都行。一般是一开始给一点钱。后面就是维护。不给钱了。再要钱就会告诉你。你现在遇到的问题不就是你前面没有解决的吗?目测这个老板是做销售的出身。想要花最少的钱。做最多的事
    RangerWolf
        20
    RangerWolf  
       2021-01-07 23:16:45 +08:00
    很有诚意的帖子,赞一个楼主!
    祝你们越走越远,原来越顺利!
    RangerWolf
        21
    RangerWolf  
       2021-01-07 23:17:11 +08:00
    啊啊啊 打错字, 越来越顺利。。。
    YouLMAO
        22
    YouLMAO  
       2021-01-08 00:36:04 +08:00 via Android
    楼主我都会,但最少你表示最低价格吧,否则万一差 50 倍就白聊了
    AkideLiu
        23
    AkideLiu  
       2021-01-08 02:21:38 +08:00 via iPhone
    隐约觉得不是缺钱,而是存在法律风险。
    10g 带宽,10 亿数据,爬虫+反编译。

    瞎说的,勿喷 /doge
    jwangkun
        24
    jwangkun  
       2021-01-08 09:01:38 +08:00
    @lancelee01 我们可以交流一下,我们公司目前正在大规模的使用
    sunchuo
        25
    sunchuo  
    OP
       2021-01-08 09:59:06 +08:00
    @firefox12 👍
    buliugu
        26
    buliugu  
       2021-01-08 10:59:42 +08:00
    Minio 分布式部署的需求基本上可以用 k8s 部署来解决,不过自带的 Prometheus metrics 只有实例数据,每个租户给独立 minio 集群嘛?
    lyc1116
        27
    lyc1116  
       2021-01-08 17:34:28 +08:00
    Elasticsearch 的需求这个不是上云对机器能解决的,中文支持->中文分词(机械,字典等),实时索引,首字母搜索->doc 量大需要优化 wildcard query,纠错->speelcheck 索引,后面可能还需要优化召回和排序。
    sunchuo
        28
    sunchuo  
    OP
       2021-01-08 17:52:41 +08:00
    @lyc1116 👍
    calmzhu
        29
    calmzhu  
       2021-01-09 01:01:37 +08:00
    其他不评论。
    不过 20 倍成本这个认真的吗,不带这么尬黑的。
    阿里云 2vCpu 8G 内存 5M 固定带宽的月租是 387. 所以你们一个月同样服务器成本是 19 块?

    服务器功率全部按接近待机的功率算 200W 。一个月大概 0.2Kw * 720h = 144 kwh 。每度电两毛。电厂现在已经这么丧心病狂了么。
    sunchuo
        30
    sunchuo  
    OP
       2021-01-10 01:23:03 +08:00
    @calmzhu

    虽然你抬杠的角度刁钻并且很有道理的样子。但是仔细看我 10 楼的回复。
    我们服务器的配置基本上是你说的配置每一项乘以 16 or 8 。

    👀
    calmzhu
        31
    calmzhu  
       2021-01-10 14:28:00 +08:00
    @sunchuo
    我已经算你们的服务器硬件成本为零 了。配置乘多少差别不大。

    你看看服务器的功算算电费就可以了。这还没算数据中心的空调。

    真建数据中心,服务器本身硬件费用并不是大头。

    羡慕你杠的无知
    calmzhu
        32
    calmzhu  
       2021-01-10 14:37:47 +08:00
    @calmzhu

    自建机房的成本。服务器硬件+服务人力+ 服务器电费消耗+空调电费消耗。前两者已经给你抹了当零算了。只要开机算,电费就会超过云的二十分之一
    calmzhu
        33
    calmzhu  
       2021-01-10 14:40:42 +08:00
    @calmzhu
    真建数据中心,服务器本身硬件费用并不是大头。这句话说错了。是想表达,并没有比其他费用高出一个数量级的程度
    calmzhu
        34
    calmzhu  
       2021-01-10 15:22:12 +08:00
    @sunchuo

    有一点确实看错了。也不是自建数据中心。而是整租机柜或者单个机位。所以不考虑电费。

    按照我们之前租的电信机房整机柜。销售谈过的价格是 6w/年。每组机柜 13 台 2U 48 核 256G 服务器插满。每台每个月成本大概是 384.6 元.差不多也就是机房电费了。

    阿里云上 256G 内存没有 48vCPU,按通用型 ecs.g5.16xlarge 32vCPU 单月购买价格的 20 分之一大概是 400.这大概就算你算的大概 20 倍成本的数据来源吧。但是请注意这是只购买一个月一台直接下款的价格。有量有长期谈一下轻松减半(官方直售超三年都是直接半价)
    lancelee01
        35
    lancelee01  
       2021-01-11 09:15:15 +08:00
    @jwangkun 可以呀,WX:bGFuY2VsZWVkZXY=
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5376 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 01:25 · PVG 09:25 · LAX 17:25 · JFK 20:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.