首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Coding
V2EX  ›  程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat · 120 天前 via Android · 6073 次点击
    这是一个创建于 120 天前的主题,其中的信息可能已经有所发展或是发生改变。

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    第 1 条附言  ·  120 天前
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 回复  |  直到 2019-08-15 08:42:49 +08:00
        1
    365hddvd   120 天前 via iPhone
    心疼老铁(ఠ్ఠ ˓̭ ఠ్ఠ)也是刚刚醒
        2
    chtan   120 天前 via iPhone
    签到
        3
    hrong   120 天前 via Android
    かわいそう
        4
    nellace   120 天前 via iPhone
    心疼老铁
        5
    hawhaw   120 天前 via Android
    所以,内网服务器用 dns resolver 的高可用非常重要
        6
    zachlhb   120 天前 via Android
    敢用百度的东西,厉害
        7
    barrelsoil   120 天前 via Android
    自建吧
        8
    liuxey   120 天前
    真是糟糕的一天
        9
    robot9   120 天前
    前段时间也是半夜被叫起来 码农太悲惨了
        10
    ww2000e   120 天前
    看样子没运维,没监控
        11
    ebingtel   120 天前
    @365hddvd 醒了就刷 v2 666
        12
    whywhywhy   120 天前
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
        13
    zjsxwc   120 天前
    所以哪家的 dns 最稳推荐?
        14
    defunct9   120 天前
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
        15
    wuzhizhan   120 天前
    记得刚毕业工作的时候,一周半夜起来一次
        16
    arrow8899   120 天前
    自己搭一个 dnsmasq 备用吧
        17
    liuxu   120 天前
    上次我们服务器也炸过,导致 php 无法 curl 请求
        18
    zhjie   120 天前   ♥ 1
    处理完问题后
    继续睡觉×
    上 v2 发帖√
        19
    ShangAliyun   120 天前
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
        20
    MeteorCat   120 天前 via Android
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
        21
    MeteorCat   120 天前 via Android
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
        22
    loryyang   120 天前
    有段时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
        23
    leloext   120 天前
    上次 114 炸了之后就不敢只用一个上游 dns 了。
        24
    mytsing520   120 天前
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
        25
    tikazyq   120 天前
    自己搭建 DNS ?
        26
    oIMOo   120 天前
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
        27
    oasislee   120 天前
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
        28
    lazyfighter   120 天前
    某个地区运营商故障见过吗,哈哈
        29
    HansCathy   120 天前
    在互联网公司 4 点起来很正常。
        30
    wolflai   120 天前
    唉,互联网公司经常熬夜两三点,非常正常了
        31
    azh7138m   120 天前
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
        32
    laozhoubuluo   120 天前
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
        33
    vibbow   120 天前
    之前 114 挂过,我就同时用 114 和 1248 了
        34
    lazyfighter   120 天前
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
        35
    Caballarii   120 天前
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
        36
    starsriver   120 天前 via Android
    贵司都不在防火墙或者路由上多填几个 dns?
        37
    ragnaroks   119 天前
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1074 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 29ms · UTC 19:09 · PVG 03:09 · LAX 11:09 · JFK 14:09
    ♥ Do have faith in what you're doing.