Php програмиист для чистки сервера

Технические детали по собранной информации

Анализ abuse сообщений

Похоже, что выполнялся перебор паролей к почтовым ящикам на удаленном сервере. Ранее был заблокирован весь исходящий трафик на 25 порт.
Так как перебор паролей выполнялся через защищенное подключение, то предположительно, запросы были на 465 порт.

Первым делом был заблокирован весь исходящий трафик на 465 порт. Сейчас с сервера разрешен исходящий трафик на 25/465 порты только от root и локального MTA.

Проанализировано следующее

логи apache на предмет подозрительных запросов (на случай залитых веб-шелов)
системные логи
входы по ssh на сервер
выполнено сканирование rkhunter
проверены cron задания всех пользователей
проверена активность в реальном времени
Выборка по логам apache

Выборка выполнялась по времени из abuse сообщений - часовой пояс на сервере совпадает со временем в abuse сообщениях (CEST).

attachment:abuse1.log
attachment:abuse2.log
Явно подозрительных запросов в это время не выявлено.

Системные логи

В системных логха так же не выявлено ничего подозрительного.

входы по ssh на сервер

Ни одного логина по ssh по времени указанному в abuse сообщении:

# last -x
root pts/3 veto.osshelp.ru Fri Jul 29 20:43 still logged in
root pts/0 veto.osshelp.ru Fri Jul 29 19:25 still logged in
runlevel (to lvl 2) 3.8.0-44-generic Thu Jul 28 21:12 - 21:43 (1+00:31)
reboot system boot 3.8.0-44-generic Thu Jul 28 21:12 - 21:43 (1+00:31)
seaman ftpd23817 195.138.82.41 Thu Jul 28 13:26 - 13:27 (00:01)
seaman ftpd23477 195.138.82.41 Thu Jul 28 13:26 - 13:27 (00:01)
seaman ftpd31476 195.138.82.41 Thu Jul 28 11:51 - 11:52 (00:01)
seaman ftpd31149 195.138.82.41 Thu Jul 28 11:50 - 11:52 (00:01)
root pts/0 veto.osshelp.ru Wed Jul 27 20:36 - 21:03 (00:26)
nika ftpd22133 d7-74.uptel.net Mon Jul 25 12:54 - 12:57 (00:03)
nika ftpd28008 d7-74.uptel.net Mon Jul 25 10:33 - 10:37 (00:03)
nika ftpd23972 d7-74.uptel.net Mon Jul 25 10:27 - 10:27 (00:00)
odegda ftpd10075 134.249.136.17 Mon Jul 25 00:19 - 01:26 (01:06)
kenrix ftpd14111 213.230.92.59 Sat Jul 23 00:42 - 01:22 (00:39)
kenrix ftpd11103 213.230.92.59 Sat Jul 23 00:23 - 01:22 (00:58)
rkhunter

Лог выполнения: attachment:rkhunter.log

Стандартные варнинги. Руткиты не выявлены.

cron задания всех пользователей

В cron заданиях пользователя itacademy выявлено подозрительное задание, запускающее бинарник:

*/10 * * * * /var/tmp/DteilFs >/dev/null 2>&1
Информация о файле:

# stat DteilFs
File: `DteilFs'
Size: 7818 Blocks: 16 IO Block: 4096 regular file
Device: 902h/2306d Inode: 33062211 Links: 1
Access: (0755/-rwxr-xr-x) Uid: ( 536/itacademy) Gid: ( 538/itacademy)
Access: 2016-07-29 21:14:24.696481934 +0200
Modify: 2016-07-27 00:45:04.493286786 +0200
Change: 2016-07-29 20:42:08.984436465 +0200
Birth: -

Похоже бинарник явно левый. Крон задание выключил. Бинарник переместил в папку /root/osshelp.12650/quarantine.
У пользователя явно потерты логи apache (нет логов за 24 число) - права на логи после ротации у пользователя были. В папке пользователя огромное количество залитых php скриптов.

Пользователь itacademy был выключен.

проверена активность в реальном времени

Во время сбора информации был запущен сбор всего трафика на 25/465 порты. Подозрительной активности не выявлено:

# time tcpdump -n -i any port 25 or port 465
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked), capture size 65535 bytes
^C
0 packets captured
0 packets received by filter
0 packets dropped by kernel

real 29m23.182s
user 0m0.012s
sys 0m0.032s
Отчет для Hetzner

We have analyzed the following information:
1) abuse messages
2) Web server logs
3) system logs
4) all cron jobs
5) rkhunter test

One of our sites has been hacked. We can't show you proofs because the logs were cleaned.
Hacked site owner user did not have root privileges, and was turned off.

Additionally:
1) we blocked all outgoing traffic on 25, 465 ports (abuse message was about brutforsing passwords to mail servers)
2) suhosin has been enabled for all sites in block mode

Please Unlock our server. At the moment we watching the activity on the server. We will try in the future to respond more quickly to abuse messages.
Отправьте это сообщение поддержке Hetzner. В теории после сообщения должны будут разблокировать.

Смысл сообщения примерно такой:

Мы проанализировали следующую информацию:
1) жалобы
2) логи веб сервера
3) системные логи
4) крон задания
5) rkhunter тест

Был выявлен один явно взломанный пользователь. Подтвердить, это к сожалению, не можем так как логи были почищены.
Взломанный пользователь не имел роот привилегий, и был выключен.

Дополнительно:
1) заблокирован весь трафик на 25, 465 порты, так как жалоба была на перебор паролей к почтовым серверам.
2) включен и настроен сухосин для фп с логированием

Разблокируйте пожалуйста сервер. В данный момент мы наблюдаем за активностью на сервере. Постараемся в будущем оперативнее реагировать на жалобы.

Выводы

Чтобы снизить вероятность проблем в будущем, нужно:

Оперативно реагировать на abuse сообщения (обычно дают 1-3 дня на устранение причин жалобы)
Устранить уязвимости в коде сайтов, своевременно обновление движков
Очистить сайты от залитых скриптов (ранее предоставляли вам список, требовалось вашей участие)
Что уже сделано:
блокировка трафика на 465 порт (ранее был заблокирован только 25)
включен suhosin в боевой режим (потенциально могло поломать функционал сайтов, необходима ваша проверка)