V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
tmtstudio
V2EX  ›  全球工单系统

网易云崩了? 502 Bad Gateway

  •  1
     
  •   tmtstudio · 82 天前 · 12449 次点击
    这是一个创建于 82 天前的主题,其中的信息可能已经有所发展或是发生改变。

    听着听着突然无了,还咋写代码🥲

    102 条回复    2024-08-20 11:53:26 +08:00
    1  2  
    vainl1
        1
    vainl1  
       82 天前
    www 。netease 。com
    open 。163 。com
    house 。163 。com
    随便看了一下,这些也 502 了
    yinft
        2
    yinft  
       82 天前
    不懂为啥音乐软件会奔溃 这也没啥大的瞬时流量吧
    root71370
        3
    root71370  
       82 天前
    @yinft 机房挂了
    lqw3030
        4
    lqw3030  
       82 天前
    技术都投到如何实现摇一摇广告跳转上了,HA 就交给上天吧
    nicksors
        5
    nicksors  
       82 天前
    ruzztok
        6
    ruzztok  
       82 天前
    崩了,退出登录就登不上了
    yinft
        7
    yinft  
       82 天前
    @root71370 感觉不是机房挂了就是机房出口光缆被挖断了,哈哈
    MeteorVIP
        8
    MeteorVIP  
       82 天前
    哈哈哈,看样子都是边听音乐边摸鱼的人.
    MagmaBlock
        9
    MagmaBlock  
       82 天前
    网页挂了,开了下 App 看还真寄了,图片和音乐都播不动了
    估计一会就上新闻了
    kumastudio
        10
    kumastudio  
       82 天前
    我还以为我电脑坏了,然后试了试手机也不行
    idc123
        11
    idc123  
       82 天前
    以为是我自己的问题。
    ruzztok
        12
    ruzztok  
       82 天前
    会不会是摇一摇整挂的,趁乱去造个谣,把这玩意下掉😂😂
    flyqie
        13
    flyqie  
       82 天前
    @yinft #7

    那这 HA 做了个寂寞啊。。

    网易这么大一公司,机房总不能全爆炸了吧?
    zhiyu1998
        14
    zhiyu1998  
       82 天前
    @nicksors 已经炸了,哥们
    sagaxu
        15
    sagaxu  
       82 天前
    网易数帆首批通过中国信通院应用多活“先进级”能力评估

    5 月 20 日,网易数帆轻舟云原生平台顺利通过中国信通院首批应用多活“先进级”能力评估。

    为提升云服务稳定运行水平,加强企事业单位系统稳定性保障工作,中国信通院于 2022 年 3 月初发起了“云系统稳定性保障计划”(以下简称“稳保计划”),吸引了金融、云服务商、互联网等行业的 20 余家头部企业和机构参与,并完成了多项云系统稳定性相关评估。“应用多活能力”评估便是云系统稳定性评估的重要组成部分。

    据了解,此次应用多活架构能力以通信行业标准《应用多活架构能力要求》为评估依据,基于当前分布式系统稳定性的发展现状与痛点,助力企业增强核心业务的连续性及抗风险能力,保证核心业务的稳定、持续运转。

    《应用多活架构能力要求》标准由中国信息通信研究院牵头,网易数帆参与编制,该标准也获得了业界极高关注度。
    crc8
        16
    crc8  
       82 天前
    哪个施工单位出来背锅?
    batilo
        17
    batilo  
       82 天前
    我还以为是我本地的 mosdns 出问题了... 正在找问题
    FanError
        18
    FanError  
       82 天前
    163.com 主站都崩了,502
    itechnology
        19
    itechnology  
       82 天前
    网易云官方回复说是基础设施故障。不知道是什么基础设施。网上有人说是数据库迁移导致的,不知道真假。
    mmdi
        20
    mmdi  
       82 天前
    暂停不了,一直自动切歌蹦来蹦去。。只好退出
    tanky
        21
    tanky  
       82 天前
    越修越严重了
    ExplodingFKL
        22
    ExplodingFKL  
       82 天前   ❤️ 6
    前情提要: 云音乐贵州机房迁移总体方案回顾

    https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
    tmtstudio
        23
    tmtstudio  
    OP
       82 天前
    @FanError 自动重定向到 m.163.com 了,真搞笑,哈哈哈
    qq1427168550
        24
    qq1427168550  
       82 天前
    又做了一次负面广告
    skyyan2000
        25
    skyyan2000  
       82 天前
    现在网页 直接切到 m.163.com
    c3de3f21
        26
    c3de3f21  
       82 天前
    服务器拿去开魔兽世界了。。。?
    killva4624
        27
    killva4624  
       82 天前
    @tmtstudio 这个重定向倒有点像应急处理干的...
    ArthurLou
        28
    ArthurLou  
       82 天前
    切歌的时候断了,严重影响我的生产效率了
    bingoup886
        29
    bingoup886  
       82 天前
    @killva4624 这也算是止损手段啊,总比一直挂着好点
    liaohongxing
        30
    liaohongxing  
       82 天前
    刚连魔兽主站都打不开了
    killva4624
        31
    killva4624  
       82 天前
    @bingoup886 是啊,放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
    kenilalexandra
        32
    kenilalexandra  
       82 天前   ❤️ 1
    其他 1.1w+的第三方应用也都挂了。。。
    https://mp.weixin.qq.com/s/sR5S2Hvc78sJgbCaFB4MQw
    kenilalexandra
        33
    kenilalexandra  
       82 天前
    @yinft 会不会可能是删库了
    ddkk1112
        34
    ddkk1112  
       82 天前   ❤️ 1
    高可用,异地多活
    原来,大家都是草台班子
    wednesdayco
        35
    wednesdayco  
       82 天前
    @skyyan2000 杭州的服务挂到北京的服务上也是没谁了
    ExplodingFKL
        36
    ExplodingFKL  
       82 天前
    > 是啊,放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
    @killva4624 估计这个是 ingress-nginx 的默认模板,又是 k8s 问题 (
    CCHome
        37
    CCHome  
       82 天前 via Android
    P0 事故坐等背锅侠
    Modred
        38
    Modred  
       82 天前
    在用且发现有问题的

    * 网易公开课: 挂
    * 网易新闻: 强制跳转手机版
    * 网易云音乐: 挂
    * 网易广告服务: 挂
    Raven316
        39
    Raven316  
       82 天前
    这么大事故,这么长时间恢复不了,是不是机房被爆破了[doge]
    kk2syc
        40
    kk2syc  
       82 天前
    莫非是 徐波 施法了!

    也许优化到大动脉了,运维架构底层的历史包袱现在没人看得懂,一碰就 boom !
    ----
    @kenilalexandra 猪场肯定有冷备份,至少可以尽快恢复主站。
    prorigor
        41
    prorigor  
       82 天前
    网易云也不过是草台班子
    Modred
        42
    Modred  
       82 天前
    @Modred
    * 网易数读: 挂
    * 网易健康: 挂
    LCheng
        43
    LCheng  
       82 天前
    还以为公司把网易云禁了,都开始问候公司了
    CMLab
        44
    CMLab  
       82 天前   ❤️ 1
    全线崩溃,等会看网易新闻报网易事故
    sakuralFA
        45
    sakuralFA  
       82 天前
    现在挂的感觉都是杭州的东西呀
    Shura
        46
    Shura  
       82 天前
    什么灾备多活,就是个 PPT ,哈哈哈
    MelDu
        47
    MelDu  
       82 天前
    连主站都受影响了,这肯定上新闻了吧。
    GuLuDaDuiZhang
        48
    GuLuDaDuiZhang  
       82 天前
    现在为止还没恢复,,有够菜的会不会玩呀,不会又是降本增笑吧。断了这么久不得找网易退钱。
    mars2023
        49
    mars2023  
       82 天前
    @prorigor #41 再强的班子,也不能保证百分百不出事故;那是上帝的权能 🐶
    NiceGeekJasonChu
        50
    NiceGeekJasonChu  
       82 天前
    网易云音乐是不是要补偿一个月的会员啊,否则众怒难平啊
    Tyrant1984
        52
    Tyrant1984  
       82 天前
    刚崩的时候还没在意,我还庆幸我还留着 Foobar2000 了,硬盘上翻了翻还有以前剩下的几个 G 的无损音乐~~
    Richared
        53
    Richared  
       82 天前
    天天吹牛逼 HA ,不也得挂着 502 慢慢修么?一个小时解决不了。天天高可用的那拨人呢?
    Yorkzhu
        54
    Yorkzhu  
       82 天前 via Android
    高可用
    loy6491
        55
    loy6491  
       82 天前
    @Richared #53 可能觉得不需要那么高的可用就优化了😄
    Richared
        56
    Richared  
       82 天前
    @loy6491 这么看也就 b 站没吹牛逼。
    shervy
        57
    shervy  
       82 天前   ❤️ 1
    @Richared #53 如果连口号都不喊的话,那不是加快公司优化么
    coolcoffee
        58
    coolcoffee  
       82 天前   ❤️ 2
    可能之前高可用做的太好了,以至于老板觉得那帮人就是浪费公司钱吃白饭的🐶
    quqivo
        59
    quqivo  
       82 天前
    爽了,继续灾难修复,继续吹牛逼,我看什么时候能访问
    qingshui33
        60
    qingshui33  
       82 天前   ❤️ 3
    他们团队已经提前预料到了 😂
    Yorkzhu
        61
    Yorkzhu  
       82 天前 via Android
    mightybruce
        62
    mightybruce  
       82 天前
    看他们微信公众号的方案,就像看八股文一样,实际不是这么回事,哈哈,露出了基础设施团队不行咯。
    https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
    云音乐贵州机房迁移总体方案
    jenkin01
        63
    jenkin01  
       82 天前
    恢复了
    Modred
        64
    Modred  
       82 天前
    @Yorkzhu 这是老图了
    Yorkzhu
        65
    Yorkzhu  
       82 天前 via Android
    @Yorkzhu 贴错了…
    dikey
        66
    dikey  
       82 天前
    今天是什么重要的日子吗😂
    mark2025
        67
    mark2025  
       82 天前
    据说 tidb 挂了
    D0n9
        68
    D0n9  
       82 天前
    @mightybruce 这也八股文吗。。。
    maplelin
        69
    maplelin  
       82 天前
    服务器被修空调的搬走了,手动狗头
    maskerTUI
        70
    maskerTUI  
       82 天前
    突然觉得我上我也行
    Modred
        71
    Modred  
       82 天前
    云音乐已经恢复了
    mightybruce
        72
    mightybruce  
       82 天前
    @D0n9 业务数据迁移这些也是八股文,属于比较有难度的,整篇文章对存储层和中间件和网关提及很少,就是业务相关的数据迁移。
    zghbyslzf
        73
    zghbyslzf  
       82 天前
    恢复个鸡儿,收藏还是报错
    MelDu
        74
    MelDu  
       82 天前
    2024 年 8 月 19 日 16:11:07
    网易云音乐;
    歌曲播放:OK
    搜索:OK
    评论:OK
    MelDu
        75
    MelDu  
       82 天前
    @MelDu 2024 年 8 月 19 日 17:11:07
    时间错了
    Grande
        76
    Grande  
       82 天前   ❤️ 5
    hafuhafu
        77
    hafuhafu  
       82 天前
    这下有人要跑路了
    RayJiang9
        78
    RayJiang9  
       82 天前
    dule
        79
    dule  
       82 天前
    据说是云存储的问题,剩一个人还是咋的,按前人文档整崩了,基本都裁完了,找不到人修,真的话那可就太惨了,剩一个人维护最后还要背锅
    dule
        80
    dule  
       82 天前
    降本增笑,裁猿广进,开猿节流的标准案例来了
    paoqi2048
        81
    paoqi2048  
       82 天前
    降本降效(
    securityCoding
        82
    securityCoding  
       82 天前
    @flyqie 服务没做跨集群部署吧...
    Sahzzz
        83
    Sahzzz  
       82 天前
    @qingshui33 老哥,这个哪里的文章?求个地址
    huangbh
        84
    huangbh  
       82 天前
    开猿节流,降本增笑
    beiwei2008
        85
    beiwei2008  
       82 天前
    @mars2023 说好高可用呢?还挂这么久
    codevoice
        86
    codevoice  
       82 天前
    @Sahzzz 22 楼发了的。。。后面很多也发了
    zdw406
        87
    zdw406  
       82 天前
    又超时了
    CSGO
        88
    CSGO  
       82 天前 via Android
    一定是米哈游搞的
    LieEar
        89
    LieEar  
       82 天前
    开猿节流,降本增笑
    meilicat
        90
    meilicat  
       82 天前
    感觉是蔡徐坤控制了网易云
    colincat
        91
    colincat  
       82 天前
    降本增笑 哈哈哈
    sampeng
        92
    sampeng  
       82 天前
    据说:是只剩一个运维了。东西太复杂,操作只能靠前人的文档。然后做了一下运维操作就炸了
    AnonymousUser
        93
    AnonymousUser  
       82 天前
    作为前 SRE ,感概 SRE 工作真难。。。
    TheWalkingDead
        94
    TheWalkingDead  
       82 天前   ❤️ 10
    内部人士说一声:确实是上面有人说的云存储问题,确实是只剩一个人,确实基本都裁完了,确实是这个人靠着前人留下的文档改错了东西。另外,不止云音乐受到影响,网易新闻也崩了,因为用的一个云存储服务。
    andforce
        95
    andforce  
       82 天前 via iPhone
    @NiceGeekJasonChu 给了 7 天🥲
    zmaplex
        96
    zmaplex  
       82 天前 via iPhone
    看完了搬家方案

    光看都看得我汗流浃背了都

    稍有不慎就是重大事故
    flyqie
        97
    flyqie  
       82 天前
    @TheWalkingDead #94

    挺好奇云存储是怎么爆炸成这样的。。不知道会不会出对外发事故报告啥的。

    怪不得前文说是基础设施。。这确实基础设施啊。
    serialt
        98
    serialt  
       82 天前
    @TheWalkingDead #94 所以是把裁掉的人叫回来才解决啊吗 [吃瓜]
    Vh5g6zZU
        99
    Vh5g6zZU  
       82 天前 via Android
    @TheWalkingDead 只剩一个也太搞了😵‍💫
    TeslaLyon
        100
    TeslaLyon  
       82 天前
    真巧,赶上了
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1043 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:14 · PVG 07:14 · LAX 15:14 · JFK 18:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.