被黑的是 GPU 集群,只有 master 节点被黑,其他的 slave 完好。 没有安装 redis,初步估计是弱密码撞成功的。。
目前已经做了以下几步
Google 了一些解决方案,检查了 root 下的 /.ssh/known_hosts, authorized_keys, 等等没有发现异常,/tmp/下也是正常。
唯独使用 top 时会出来一些 PID 靠后的进程,出现几秒就没了,我觉得应该是守护进程。 同时,在 /usr/bin 下有三个文件也是删了又会浮现,但文件名也是随机 /init.d/下面也是有一个随机文件名不能完全删除,会自动重命名出现。
头疼。。。
1
FifiLyu 2018-12-27 17:03:25 +08:00 1
把所有进程信息整理出来,一个个排除嫌疑。明显是有隐藏的进程没被发现。解决掉此进程就成功一大半了。
另外一个最简单的办法,检查开机启动有无异常,检查后重启,以此杀掉未知进程。 |
2
Greenm 2018-12-27 17:12:47 +08:00 1
看你这个描述,有 master 节点,应该是啥数据集群吧,hadoop,spark 之类的?
|
3
hcymk2 2018-12-27 17:13:26 +08:00 1
扫描下 Rootkit
|
4
PureWhiteWu 2018-12-27 17:16:27 +08:00 1
真的,重装吧。。。。
你永远不知道漏了啥。。。 以后你用着也提心吊胆的。 |
5
joeaaa OP |
8
Greenm 2018-12-27 17:24:08 +08:00 1
@joeaaa 别只盯着没装 redis 就万事大吉了,怎么就没想过是 spark 或者 hadoop 的问题呢?
https://github.com/rapid7/metasploit-framework/pull/10954 https://github.com/rapid7/metasploit-framework/pull/10027 暴露在公网,没认证很容易被搞的。 |
9
joeaaa OP |
11
Greenm 2018-12-27 17:34:17 +08:00 1
Spark 和 Hadoop 都有未授权远程代码执行的问题,上面的两个链接是我写的利用代码。 如果被黑了第一时间需要考虑怎么进来的,看看自己监听了哪些端口,一一排查,把洞先堵住在说。
另外被黑了也不要慌,上面劝你重装的不负责,在公司业务被黑了也重装么,损失谁来担。 仔细一点,多排查一下启动项之类的东西,总能解决的。 |
12
PureWhiteWu 2018-12-27 17:35:55 +08:00
@joeaaa 那问你一个问题,假设你的 master 机器硬盘坏了,所有数据丢失,你会怎么办?
|
14
joeaaa OP @PureWhiteWu 看坏的程度吧,现在用的存储系统搭配 nvram,整套集群做了异地物理备两份。 现在也有人说用 docker,不是很懂。。
|