Почистить сервер

Технические детали по собранной информации

Анализ abuse сообщений

Похоже, что выполнялся перебор паролей к почтовым ящикам на удаленном сервере. Ранее был заблокирован весь исходящий трафик на 25 порт.
Так как перебор паролей выполнялся через защищенное подключение, то предположительно, запросы были на 465 порт.

Первым делом был заблокирован весь исходящий трафик на 465 порт. Сейчас с сервера разрешен исходящий трафик на 25/465 порты только от root и локального MTA.

Проанализировано следующее

• логи apache на предмет подозрительных запросов (на случай залитых веб-шелов)
• системные логи
• входы по ssh на сервер
• выполнено сканирование rkhunter
• проверены cron задания всех пользователей
• проверена активность в реальном времени

Выборка по логам apache

Выборка выполнялась по времени из abuse сообщений - часовой пояс на сервере совпадает со временем в abuse сообщениях (CEST).

• attachment:abuse1.log
• attachment:abuse2.log

Явно подозрительных запросов в это время не выявлено.

Системные логи

В системных логха так же не выявлено ничего подозрительного.

входы по ssh на сервер

Ни одного логина по ssh по времени указанному в abuse сообщении:

# last -x

root     pts/3        veto.osshelp.ru  Fri Jul 29 20:43   still logged in   

root     pts/0        veto.osshelp.ru  Fri Jul 29 19:25   still logged in   

runlevel (to lvl 2)   3.8.0-44-generic Thu Jul 28 21:12 - 21:43 (1+00:31)   

reboot   system boot  3.8.0-44-generic Thu Jul 28 21:12 - 21:43 (1+00:31)   

seaman   ftpd23817    195.138.82.41    Thu Jul 28 13:26 - 13:27  (00:01)    

seaman   ftpd23477    195.138.82.41    Thu Jul 28 13:26 - 13:27  (00:01)    

seaman   ftpd31476    195.138.82.41    Thu Jul 28 11:51 - 11:52  (00:01)    

seaman   ftpd31149    195.138.82.41    Thu Jul 28 11:50 - 11:52  (00:01)    

root     pts/0        veto.osshelp.ru  Wed Jul 27 20:36 - 21:03  (00:26)    

nika     ftpd22133    d7-74.uptel.net  Mon Jul 25 12:54 - 12:57  (00:03)    

nika     ftpd28008    d7-74.uptel.net  Mon Jul 25 10:33 - 10:37  (00:03)    

nika     ftpd23972    d7-74.uptel.net  Mon Jul 25 10:27 - 10:27  (00:00)    

odegda   ftpd10075    134.249.136.17   Mon Jul 25 00:19 - 01:26  (01:06)    

kenrix   ftpd14111    213.230.92.59    Sat Jul 23 00:42 - 01:22  (00:39)    

kenrix   ftpd11103    213.230.92.59    Sat Jul 23 00:23 - 01:22  (00:58)

rkhunter

Лог выполнения: attachment:rkhunter.log

Стандартные варнинги. Руткиты не выявлены.

cron задания всех пользователей

В cron заданиях пользователя itacademy выявлено подозрительное задание, запускающее бинарник:

*/10 * * * * /var/tmp/DteilFs >/dev/null 2>&1

Информация о файле:

# stat DteilFs 

  File: `DteilFs'

  Size: 7818          Blocks: 16         IO Block: 4096   regular file

Device: 902h/2306d    Inode: 33062211    Links: 1

Access: (0755/-rwxr-xr-x)  Uid: (  536/itacademy)   Gid: (  538/itacademy)

Access: 2016-07-29 21:14:24.696481934 +0200

Modify: 2016-07-27 00:45:04.493286786 +0200

Change: 2016-07-29 20:42:08.984436465 +0200

 Birth: -

Похоже бинарник явно левый. Крон задание выключил. Бинарник переместил в папку /root/osshelp.12650/quarantine.
У пользователя явно потерты логи apache (нет логов за 24 число) - права на логи после ротации у пользователя были. В папке пользователя огромное количество залитых php скриптов.

Пользователь itacademy был выключен.

проверена активность в реальном времени

Во время сбора информации был запущен сбор всего трафика на 25/465 порты. Подозрительной активности не выявлено:

# time tcpdump -n -i any port 25 or port 465

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on any, link-type LINUX_SLL (Linux cooked), capture size 65535 bytes

^C      

0 packets captured

0 packets received by filter

0 packets dropped by kernel



real    29m23.182s

user    0m0.012s

sys    0m0.032s

Отчет для Hetzner

We have analyzed the following information:

1) abuse messages

2) Web server logs

3) system logs

4) all cron jobs

5) rkhunter test



One of our sites has been hacked. We can't show you proofs because the logs were cleaned.

Hacked site owner user did not have root privileges, and was turned off.



Additionally:

1) we blocked all outgoing traffic on 25, 465 ports (abuse message was about brutforsing passwords to mail servers)

2) suhosin has been enabled for all sites in block mode



Please Unlock our server. At the moment we watching the activity on the server. We will try in the future to respond more quickly to abuse messages.

Отправьте это сообщение поддержке Hetzner. В теории после сообщения должны будут разблокировать.

Смысл сообщения примерно такой:

Мы проанализировали следующую информацию:
1) жалобы
2) логи веб сервера
3) системные логи
4) крон задания
5) rkhunter тест

Был выявлен один явно взломанный пользователь. Подтвердить, это к сожалению, не можем так как логи были почищены.
Взломанный пользователь не имел роот привилегий, и был выключен.

Дополнительно:
1) заблокирован весь трафик на 25, 465 порты, так как жалоба была на перебор паролей к почтовым серверам.
2) включен и настроен сухосин для фп с логированием

Разблокируйте пожалуйста сервер. В данный момент мы наблюдаем за активностью на сервере. Постараемся в будущем оперативнее реагировать на жалобы.

Выводы

Чтобы снизить вероятность проблем в будущем, нужно:

1. Оперативно реагировать на abuse сообщения (обычно дают 1-3 дня на устранение причин жалобы)
2. Устранить уязвимости в коде сайтов, своевременно обновление движков
3. Очистить сайты от залитых скриптов (ранее предоставляли вам список, требовалось вашей участие)

Что уже сделано:

• блокировка трафика на 465 порт (ранее был заблокирован только 25)
• включен suhosin в боевой режим (потенциально могло поломать функционал сайтов, необходима ваша проверка)