滴滴昨天晚上(2023.11.27)啥故障有没有内部人士稍微来聊聊

[Ericcccccccc]

好奇啥问题能持续这么久

[hxndg]

同好奇，等结论

[likunyan]

降本增笑？

[Ericcccccccc]

@likunyan 有一种可能是非常古老的代码有缺陷(架构/存储), 但因为一直能使用, 也不会有人去动它.

然后昨天上线了什么新东西和这个旧的有不兼容或者存储写满了之类的问题, 无法快速通过回滚解决

[zhuoyue100]

搞一晚上都没搞好，可怕

[Djaron]

相关程序猿又通宵了

[killva4624]

是错觉吗，今年各类互联网厂商出问题的次数都变高了。

[moyt]

估计是降本增笑

[egfegdfr]

@Ericcccccccc 同好奇， 如果是新功能导致的， 是不是可以把这个功能先下了， 就会恢复？

[B1acKy1in]

@killva4624 降本增笑嘛

[crazycen]

应该到 28 号现在还没全部修好，今天服务号里面的通知、福利信息、会员信息等，都还 502 Bad Gateway 呢。

[lisongeee]

早上也用不了滴滴，然后我用百度地图打到了滴滴，司机师傅说他用的旧版本，所以能收到订单，其它师傅都用不了

[chackchackGO]

最近咋这么多大厂出事?

[JackyTsang]

降本增笑，估计又得甩锅外包人士。

[via]

开猿截流导致的吧

[yuji]

真的是 k8s 吗

[Orangeee]

看到一个笑话：滴滴员工因为没法打到滴滴，无法及时回到公司处理线上问题，导致滴滴 APP 无法正常使用。

[Binini]

直接原因可能是：
1. 变更前没有测试到位，引起底层基础设施问题。
2. 被日了，可能是授权下不规范渗透测试或众测引发的，也可能是外部未授权的攻击行为。
根本原因可能是：
1. 不规范操作
2. 安全控制不到位
3. 高可用没做好
次要原因可能是：
1. 降本增笑
2. 应急人员打不到滴滴
官方原因可能是：
1. 系统意外故障
2. 外包人员违规操作
3. 被国外组织攻击

[plutome]

截止 2023-11-28 13:51,故障还未彻底修复，很多功能依旧无法使用。

到底是啥问题呢？

[proxychains]

内部人士大抵在通宵修 BUG

[alsas]

降本增笑

[hooych]

开猿截流，降本增笑

一个字，绝！

[ygmpkk]

10 点多的云服务变更，10:16 分就全挂了，告警、降级、预案全部失效

[otakustay]

@egfegdfr 不好说，我见过上线出问题时已经产生了脏数据了，回滚功能没用要顺带回滚数据才能恢复，这就要很长时间了

[totoro52]

滴滴攻城狮已经连夜进行抢修！（但因为没办法叫到滴滴回不来公司，已采取步行方式，请耐心等待）

[gaozd1995]

@Orangeee 想起了核酸码故障😱

[soloHm]

@Orangeee 你这个梗，跟前阵子语雀崩了访问不了，但是解决方案都存在语雀里面有异曲同工之妙

[anzu]

都是草台

[itechnology]

据我不负责任的推测，很有可能又是降本增笑搞的，把经验老的员工裁员了，只留下了成本低的新员工……

[dollar]

在推上看到的消息是说 k8s 集群挂了，服务都挂了，包括内部聊天软件，只能用微信联系处理故障

[flyqie]

@dollar #29

有地址嘛，想瞅瞅

[xiang0818]

不能在外部平台上公开讨论工作信息。安全红线

[pws22]

前段时间我们也 k8s 集群挂了，整个 etcd 集群节点数不够一直启动不起来，恢复这玩意整个不知道咋恢复。。

[wqhui]

@killva4624 盲猜最近一两年裁员裁狠了，把底层干活的裁了不少，一个人负责原本两三个人的工作，交接也没交接好

[buchikoma]

盆友圈看到的

1. ys 机房挂了，需要双机房切流预案，结果预案平台挂了执行不了，需要先恢复预案平台
2. 核心交易链路有重试，错误率高的时候用户也在重试，限流能把错误率提升，用户继续增加重试，错误率继续提升；
3. 部分业务核心交易链路依赖供给端链路，B 端业务复杂还控制新增服务，服务相互依赖严重，内部 rpc 还普遍有 check; 启动 A 服务需要先启动 B 服务，B 服务依赖的 C 服务需要 A 服务启动;
4.止损需要拉群，结果 IM 挂了，需要微信拉 umeet ，还好 umeet 不是 dd 的
5. 早高峰拉研发到班止损，很多打不到车，导致没法止损
6. 双机房预案演练只练切流不练放火，反正非 P 或 Q ，管他 P 为真为假。

[MaxFang]

@buchikoma 这么详细，看着像是内部人士发的。IM 工具也坏掉了那是很难办了。

[CodingBandit]

@hooych
绝

[learnshare]

@soloHm
Angular 1.* 当年文档坏了，去 Github 上反馈，核心团队也[开玩笑]让我去文档网站反馈（实际上是打不开的）

[Ericcccccccc]

@buchikoma 这么详细应该是真的.

不过我很好奇, 一般双机房就是互备容灾, 咋挂了一个整体业务还 run 不起来了. 双机房个寂寞

[buchikoma]

@Ericcccccccc #38 这种大业务一般不会随意切流，必定是先告警再手动 check 手动切流，而且切流操作也得是白屏化，这就导致又依赖了一个不稳定服务

大公司就这点不好，夸部门沟通有壁垒，没办法独立完成所有运维操作

[ZZ74]

@Orangeee 这就是为啥需要反垄断

[zhleonix]

滴滴 23 点出问题，程序员 VPN 也登不上，于是出去打滴滴去公司，可是滴滴挂了。。。

[totoro52]

@buchikoma #34 启动 A 服务需要先启动 B 服务，B 服务依赖的 C 服务需要 A 服务启动; 6

[ukuyu]

@egfegdfr #8 对啊,回上一版本不就可以了;应该不是代码 bug 吧？猜是系统问题

[shinkashinra]

@zhleonix 这个感觉是梗…真十万火急的情况，难道还打不到出租车或者开车去么

[djasdjds]

打不了车也太扯淡了，外面出租车花小猪高德都可以打，如果十万火急，哪个领导没车？几趟组里人拉不过去。。。

[onlyhuiyi]

@buchikoma #34 请教下，"反正非 P 或 Q ，管他 P 为真为假" 这句没有看明白 P 和 Q 是什么缩写

[buchikoma]

@onlyhuiyi #46 p 和 q 是两个条件，只要 q 是真的，无所谓 p 是真是假，而如果 q 是假的，那 p 也肯定是假的。

其实意思就是，演练只练习切流成功没有，至于是否是在真正异常场景下，还是正常环境都不重要，case 不完善，只注重形式

[julyclyde]

@djasdjds 花小猪是不是也是滴滴啊？

[onlyhuiyi]

@buchikoma #47 感谢，大概理解了

[elmagnificogg]

滴滴应该现在都没恢复，软件内置的都是第三方打车的接口，滴滴自己的不知道藏哪去了