Написати Bash скрипт
Зараз я запускаю цю команду вручну, треба автоматизувати, щоб одним скриптом запускалося одночасне скачування 100 доменів
wget --mirror --page-requisites --no-check-certificate --backup-converted --execute robots=off -w 5 --random-wait --compression=auto --reject-regex "/search|/rss" --no-if-modified-since --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36" https://strapi.io/
Написати 3 скрипти bash. Перший скрипт створює другий скрипт. Другий скрипт запускаємо з корисним навантаженням.
Перший скрипт:
1) Є тхт файл, в якому лежить список доменів.
2) Треба взяти домени з тхт файлу і створити другий скрипт, який буде запускати корисне навантаження – одночасне скачування 100 доменів з txt файлу.
3) Є папка /xxx, в неї будемо зберігати локальну копію скачених сайтів.
4) Другий скрипт повинен для кожного домену створити в папці /xxx папку з назвою сайту, наприклад. /xxx/site1.com /xxx/site2.com і в цю папку закачати копію відповідного сайту.
5) В папці /xxx/site1.com може зберігатися кілька копій скаченого сайту. При запуску скрипта створюється папка з часом початку скачування і в неї все заливається
/xxx/site1.com / 01-08-2024-19-15
/xxx/site1.com / 01-09-2024-19-20
В папку /xxx/site1.com / 01-08-2024-19-15 зберігаємо лог виконання скачування і після скачування закриваємо вікно термінала.
Я припускаю, що для кожного домену буде відкриватися окреме вікно термінала (це обговорюється) і після завершення скачування вікно закривається. Головне, щоб можна було бачити в реальному часі, що скачування йде і все ок.
Також передбачається створення третього скрипта, який буде через крон запускати другий (другі скрипти з корисним навантаженням) скрипт по черзі. Будуть, наприклад, 10 скриптів з корисним навантаженням, кожен з яких запускає скачування 100 сайтів, так от третій скрипт запускає скачування перших 100 сайтів, потім наступні 100 сайтів (другий скрипт) і так далі, щоб на сервері неспішно постійно оновлювалися копії 1 000 сайтів. Третій скрипт контролює, щоб в папці було три бекапа, при створенні четвертого бекапа, найстаріший видаляється і залишається три найсвіжіших бекапа.
Будь ласка, пропонуйте терміни і ціну.
СПС
-
691 8 0 потрібно пробувати . Має вийти ,
мої лінукс нотатки
http://blog.wispenergo.pp.ua/linux/
-
3012 73 4 2 Доброго дня! Маю певний досвід у даній сфері, тому можу виконати поставлену Вами задачу швидко, а головне - якісно! Звертайтесь!
-
455 4 0 Добрий день!
Готовий обговорити виконання вашого контракту.
Пишіть в особисті повідомлення
-
а можно одним скриптом, которому отдаётся параметрами файл с сайтами и "параллельность" ?
тогда скрипт просто читает файл и скачивает все сайты в нужные папки но но более заданого часла сайтов одновременно. -
Актуальні фриланс-проєкти в категорії Linux та Unix
Розгортання Ruby on Rails проєкту на VPS + Inbound Email RoutingПотрібна допомога в розгортанні платформи для автоматизації запитів на публічну інформацію (на базі open-source рушія Alaveteli). Проєкт працює як поштовий маршрутизатор: генерує унікальні email-адреси для кожного запиту, відправляє їх до державних органів, а відповіді приймає… DevOps, Linux та Unix ∙ 1 день 20 годин тому ∙ 10 ставок |
Пентест, тестування на проникнення
1109 UAH
Опис проєкту: Наша компанія шукає досвідченого фріланс-пентестера для участі в проєктах з інформаційної безпеки наших клієнтів. Що потрібно зробити: • провести external/internal penetration testing (VPN, firewall, web, API, DNS) • web application & API pentest (OWASP Top 10,… Linux та Unix, Тестування та QA ∙ 13 днів 11 годин тому ∙ 9 ставок |