Napisz skrypt Bash
Teraz uruchamiam tę komendę ręcznie, trzeba to zautomatyzować, aby jednym skryptem uruchamiało jednoczesne pobieranie 100 domen
wget --mirror --page-requisites --no-check-certificate --backup-converted --execute robots=off -w 5 --random-wait --compression=auto --reject-regex "/search|/rss" --no-if-modified-since --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36" https://strapi.io/
Napisz 3 skrypty bash. Pierwszy skrypt tworzy drugi skrypt. Drugi skrypt uruchamiamy z ładunkiem użytecznym.
Pierwszy skrypt:
1) Jest plik txt, w którym znajduje się lista domen.
2) Trzeba wziąć domeny z pliku txt i stworzyć drugi skrypt, który będzie uruchamiał ładunek użyteczny – jednoczesne pobieranie 100 domen z pliku txt.
3) Jest folder /xxx, w którym będziemy przechowywać lokalną kopię pobranych stron.
4) Drugi skrypt powinien dla każdej domeny stworzyć w folderze /xxx folder o nazwie strony, na przykład /xxx/site1.com /xxx/site2.com i do tego folderu załadować kopię odpowiedniej strony.
5) W folderze /xxx/site1.com może znajdować się kilka kopii pobranej strony. Przy uruchamianiu skryptu tworzy się folder z czasem rozpoczęcia pobierania i do niego wszystko się wlewa
/xxx/site1.com / 01-08-2024-19-15
/xxx/site1.com / 01-09-2024-19-20
W folderze /xxx/site1.com / 01-08-2024-19-15 zapisujemy log wykonania pobierania i po pobraniu zamykamy okno terminala.
Zakładam, że dla każdej domeny będzie otwierane osobne okno terminala (to do omówienia) i po zakończeniu pobierania okno się zamyka. Ważne, aby można było widzieć w czasie rzeczywistym, że pobieranie trwa i wszystko jest w porządku.
Zakłada się również stworzenie trzeciego skryptu, który będzie przez cron uruchamiał drugi (drugie skrypty z ładunkiem użytecznym) skrypt po kolei. Będzie na przykład 10 skryptów z ładunkiem użytecznym, z których każdy uruchamia pobieranie 100 stron, więc trzeci skrypt uruchamia pobieranie pierwszych 100 stron, potem następnych 100 stron (drugi skrypt) i tak dalej, aby na serwerze spokojnie stale aktualizowały się kopie 1 000 stron. Trzeci skrypt kontroluje, aby w folderze były trzy kopie zapasowe, przy tworzeniu czwartej kopii zapasowej, najstarsza jest usuwana i pozostają trzy najnowsze kopie zapasowe.
Proszę o propozycje terminów i ceny.
Dzięki
-
691 8 0 trzeba próbować . Powinno się udać ,
moje notatki linux
http://blog.wispenergo.pp.ua/linux/
-
3012 73 4 2 Dzień dobry! Mam pewne doświadczenie w tej dziedzinie, więc mogę szybko wykonać postawione przez Państwa zadanie, a co najważniejsze - jakościowo! Proszę o kontakt!
-
455 4 0 Dzień dobry!
Jestem gotów omówić realizację twojego kontraktu.
Pisz w wiadomościach prywatnych
-
а можно одним скриптом, которому отдаётся параметрами файл с сайтами и "параллельность" ?
тогда скрипт просто читает файл и скачивает все сайты в нужные папки но но более заданого часла сайтов одновременно. -
Aktualne zlecenia dla freelancerów w kategorii Administracja systemem i siecią
Kompleksowe sprawdzenie i ochrona serwera biurowego + konfiguracja poczty
329 PLN
Potrzebny specjalista do kompleksowej weryfikacji i dostosowania infrastruktury serwerowej w biurze. Na chwilę obecną przez Proxmox wisi kilka wirtualek na Ubuntu, główna baza danych i do niej wirtualki z witrynami Laravel. Wcześniej były problemy z serwerem, ponieważ przez… Administracja systemem i siecią, Konfigurowanie oprogramowania i serwerów ∙ 1 dzień temu ∙ 12 ofert |
Skonfigurować zdalne dyski na hetzner.comJest duże pragnienie, aby używać hetzner.com jako zdalnego serwera do przechowywania plików i możliwości pracy z nimi z różnych komputerów i urządzeń mobilnych. Potrzebna pomoc w takim ustawieniu oraz mały kurs dla początkującego użytkownika, jak to wszystko skonfigurować… Administracja systemem i siecią, Konfigurowanie oprogramowania i serwerów ∙ 1 dzień 3 godziny temu ∙ 17 ofert |
Należy skonfigurować KeyCRM do dostarczania wody.Trzeba skonfigurować KeyCRM do dostarczania wody. Już istnieje konto Pitnavoda24. Zadania: niestandardowe pola ról (ewidencja taryfy — wydano/odebrano/pozostałość), role pracowników (właściciel, dyspozytor, kierowca, magazyn), podłączenie Viber i Telegram, WhatsApp Administracja systemem i siecią, Zarządzanie klientami i CRM ∙ 1 dzień 7 godzin temu ∙ 15 ofert |
Konfiguracja poczty korporacyjnej w Google Workspace
123 PLN
Aktualna sytuacja: Poczta jest hostowana na hostiq.ua (cPanel) Istniejące konta e-mail: hr-poczta i sales-poczta na domenie kyivenergy.com Domena: kyivenergy.com Co należy zrobić: Podłączyć domenę kyivenergy.com do Google Workspace Przenieść istniejące konta hr i sales do Google… Automatyzacja zarządzania przedsiębiorstwem, Administracja systemem i siecią ∙ 1 dzień 23 godziny temu ∙ 8 ofert |
Rozgrupowanie towarów na marketplace Rozetka
411 PLN
Specyfikacja technicznaZadanieNależy rozgrupować produkty na rynku Rozetka, które zostały automatycznie połączone z produktami innych sprzedawców.Aktualny problemRozetka automatycznie pogrupowała nasze produkty z produktami innych sprzedawców według podobnych… Administracja systemem i siecią ∙ 2 dni 5 godzin temu ∙ 7 ofert |