Bash скрипт написать
Сейчас я запускаю эту команду вручную, надо автоматизировать, чтоб одним скриптом запускалось одновременное скачивание 100 доменов
wget --mirror --page-requisites --no-check-certificate --backup-converted --execute robots=off -w 5 --random-wait --compression=auto --reject-regex "/search|/rss" --no-if-modified-since --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36" https://strapi.io/
Написать 3 скрипта bash. Первый скрипт создает второй скрипт. Второй скрипт запускаем с полезной нагрузкой.
Первый скрипт:
1) Есть тхт файл в котором лежит список доменов.
2) Надо взять домены из тхт файла и создать второй скрипт который будет запускать полезную нагрузку – одновременное скачивание 100 доменов из txt файл.
3) Есть папка /xxx в нее будем сохранять локальную копию скаченных сайтов.
4) Второй скрипт должен для каждого домена создать в папке /xxx папку с названием сайта, например. /xxx/site1.com /xxx/site2.com и в эту папку закачать копию соответствующего сайта.
5) В папке /xxx/site1.com может храниться несколько копий скаченного сайта. При запуске скрипта создаеться папка с временем начала скачивания и в нее все льеться
/xxx/site1.com / 01-08-2024-19-15
/xxx/site1.com / 01-09-2024-19-20
В папку /xxx/site1.com / 01-08-2024-19-15 сохраняем лог выполнения скачивания и после скачивания закрываем окно терминала.
Я предполагаю что для каждого домена будет открываться отдельное окно терминала (это обсуждается) и после завершения скачивания окно закрывается. Главное чтоб можно видеть в реальном времени что скачивание идет и все ок.
Также предполагается создание третьего скрипта, который будет через крон запускать второй (вторые скрипты с полезной нагрузкой) скрипт по очереди. Будет например 10 скриптов с полезной нагрузкой каждый из которых запускает скачивание 100 сайтов, так вот третий скрипт запускает скачивание первых 100 сайтов, потом следующие 100 сайтов ( второй скрипт) и так далее, чтоб на сервере неспеша постоянно обновлялись копии 1 000 сайтов. Третий скрипт контралирует чтоб в папке было три бэкапа, при создании четвертого бэкапа, самый старый удаляеться и остаеться три самых свежих бэкапа.
Пожалуйста предлагайте сроки и цену.
СПС
-
691 8 0 нужно пробовать . Должно получится ,
мои линукс заметки
http://blog.wispenergo.pp.ua/linux/
-
3012 73 4 2 Добрый день! У меня есть определенный опыт в данной сфере, поэтому я могу выполнить поставленную Вами задачу быстро, а главное - качественно! Обращайтесь!
-
455 4 0 Добрый день!
Готов обсудить выполнение вашего контракта.
Пишите в личные сообщения
-
а можно одним скриптом, которому отдаётся параметрами файл с сайтами и "параллельность" ?
тогда скрипт просто читает файл и скачивает все сайты в нужные папки но но более заданого часла сайтов одновременно. -
Актуальные фриланс-проекты в категории Linux и Unix
Развертывание Ruby on Rails проекта на VPS + Входящая маршрутизация электронной почтыНужна помощь в развертывании платформы для автоматизации запросов на публичную информацию (на базе open-source движка Alaveteli). Проект работает как почтовый маршрутизатор: генерирует уникальные email-адреса для каждого запроса, отправляет их в государственные органы, а ответы… DevOps, Linux и Unix ∙ 11 часов 49 минут назад ∙ 9 ставок |
Пентест, тестирование на проникновение
1108 UAH
Описание проекта: Наша компания ищет опытного фриланс-пентестера для участия в проектах по информационной безопасности наших клиентов. Что нужно сделать: • провести external/internal penetration testing (VPN, firewall, web, API, DNS) • web application & API pentest (OWASP Top… Linux и Unix, Тестирование и QA ∙ 12 дней 3 часа назад ∙ 9 ставок |