Budget: 100 UAH Deadline: 1 day
Добрый день!
Готовы сделать!
Есть сайт: https://lifeisfreedom.net/
Надо провести настройку robots.txt и .htaccess с целью уменьшить ненужную нагрузку на сайт от спамеров и поисковых ботов( yahoo отключить, остальных постараться ограничень по количеству индексируемых страниц в минуту/секунду)
Последние несколько дней наблюдаю проблему с перегрузкой сайта длинным запросами и запросами от поисковых ботов или кто там под них может маскироваться (приветы от злопыхателей, наверное).
Внесли изменения в robots.txt:
1. сперва ограничили индексацию количество страниц в секунду. Не помогло.
2. Потом поставили:
User-agent: *
Request-rate: 1/5
Visit-time: 0600-0845
и в .htaccess добавил (т.к. последними запросами, которые привели к 503, были запросы от Yahoo):
# blocking search bot Yahoo
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Yahoo [OR]
RewriteCond %{HTTP_USER_AGENT} Igde
RewriteRule (.*) - [F,L]
</IfModule>
# END blocking search bot Yahoo
Но сегодня ночью и ранним утром по данным Яндекс Метрики - сайт снова "Падал" на ча где то каждый раз.
Хостер дал следующие логи:
по состоянию на вечер 29/03/2016: (свежие сегодня запросил, но еще не получил)
Произвели выборку по логам подключений к Вашему сайту индексирующих ботов с сортировкой по уникальным IP адресам:
5516 66.249.78.176 (Google Inc)
984 130.193.50.36 (Yandex)
873 66.249.64.173 (Google Inc)
623 62.210.148.246
381 66.249.78.4
261 5.9.63.149
221 51.255.162.165
185 82.37.199.233
176 149.56.110.179
169 86.132.215.31
99 66.249.78.11
95 141.8.183.18
ну и т.д.
Budget: 100 UAH Deadline: 1 day
Добрый день!
Готовы сделать!
Есть несколько причин по которых сайт может "падать" , я так понимаю вы хотите чтобы Ваш сайт нормально работал и не "падал"?
Hello. I am looking for a mentor in Linux. I have experience as a strong junior DevOps specialist, but Linux and Kubernetes are my weak points. While I have some project experience with Kubernetes, my interaction with Linux is very superficial. Creating something, adding, renaming, opening, etc. is clearly not enough. I need a mentor who can help me improve in this area. The main task is to ensure that the knowledge sticks in my head, possibly through some pet project, tasks, or something along those lines, rather than just "repeat after me." I have taken courses on my own, but they don't particularly "stick" in my head. Here is a rough list of what I think I need: - Linux/Unix systems — in-depth administration of operating systems, file systems, user and access rights management, processes and services (systemd), Bash scripting, logging, monitoring, security configuration, automation of administrative tasks; - Networking technologies — OSI model and TCP/IP stack, DNS, HTTP/HTTPS, SSL/TLS, SSH, VPN, load balancing, proxy servers, NAT, routing, network utilities (ping, traceroute, netstat, ss, tcpdump, curl), diagnosing and troubleshooting network issues; If Kubernetes can be added to this list, that would be great. Perhaps you can suggest something from your side. The format of the sessions, as I see it, is twice a week, meetings, discussions, consultations. More details can be your ideas and suggestions. Regarding the cost per hour or per month - please propose.
Development of a Power App, support for me as a beginner. Canvas App, assistance in developing the Screen Help in developing the data structure for the App Programming functions Assistance in creating Date-verse Tables