Budżet: 800 UAH Termin: 3 dni
trzeba próbować . Powinno się udać ,
moje notatki linux
http://blog.wispenergo.pp.ua/linux/
Teraz uruchamiam tę komendę ręcznie, trzeba to zautomatyzować, aby jednym skryptem uruchamiało jednoczesne pobieranie 100 domen
wget --mirror --page-requisites --no-check-certificate --backup-converted --execute robots=off -w 5 --random-wait --compression=auto --reject-regex "/search|/rss" --no-if-modified-since --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36" https://strapi.io/
Napisz 3 skrypty bash. Pierwszy skrypt tworzy drugi skrypt. Drugi skrypt uruchamiamy z ładunkiem użytecznym.
Pierwszy skrypt:
1) Jest plik txt, w którym znajduje się lista domen.
2) Trzeba wziąć domeny z pliku txt i stworzyć drugi skrypt, który będzie uruchamiał ładunek użyteczny – jednoczesne pobieranie 100 domen z pliku txt.
3) Jest folder /xxx, w którym będziemy przechowywać lokalną kopię pobranych stron.
4) Drugi skrypt powinien dla każdej domeny stworzyć w folderze /xxx folder o nazwie strony, na przykład /xxx/site1.com /xxx/site2.com i do tego folderu załadować kopię odpowiedniej strony.
5) W folderze /xxx/site1.com może znajdować się kilka kopii pobranej strony. Przy uruchamianiu skryptu tworzy się folder z czasem rozpoczęcia pobierania i do niego wszystko się wlewa
/xxx/site1.com / 01-08-2024-19-15
/xxx/site1.com / 01-09-2024-19-20
W folderze /xxx/site1.com / 01-08-2024-19-15 zapisujemy log wykonania pobierania i po pobraniu zamykamy okno terminala.
Zakładam, że dla każdej domeny będzie otwierane osobne okno terminala (to do omówienia) i po zakończeniu pobierania okno się zamyka. Ważne, aby można było widzieć w czasie rzeczywistym, że pobieranie trwa i wszystko jest w porządku.
Zakłada się również stworzenie trzeciego skryptu, który będzie przez cron uruchamiał drugi (drugie skrypty z ładunkiem użytecznym) skrypt po kolei. Będzie na przykład 10 skryptów z ładunkiem użytecznym, z których każdy uruchamia pobieranie 100 stron, więc trzeci skrypt uruchamia pobieranie pierwszych 100 stron, potem następnych 100 stron (drugi skrypt) i tak dalej, aby na serwerze spokojnie stale aktualizowały się kopie 1 000 stron. Trzeci skrypt kontroluje, aby w folderze były trzy kopie zapasowe, przy tworzeniu czwartej kopii zapasowej, najstarsza jest usuwana i pozostają trzy najnowsze kopie zapasowe.
Proszę o propozycje terminów i ceny.
Dzięki
Budżet: 800 UAH Termin: 3 dni
trzeba próbować . Powinno się udać ,
moje notatki linux
http://blog.wispenergo.pp.ua/linux/
Budżet: 1200 UAH Termin: 1 dzień
Dzień dobry! Mam pewne doświadczenie w tej dziedzinie, więc mogę szybko wykonać postawione przez Państwa zadanie, a co najważniejsze - jakościowo! Proszę o kontakt!
Budżet: 1000 UAH Termin: 1 dzień
Dzień dobry!
Jestem gotów omówić realizację twojego kontraktu.
Pisz w wiadomościach prywatnych
а можно одним скриптом, которому отдаётся параметрами файл с сайтами и "параллельность" ?
тогда скрипт просто читает файл и скачивает все сайты в нужные папки но но более заданого часла сайтов одновременно.
Konfigurowanie oprogramowania i serwerów 10 ofert 14:45
Cyberbezpieczeństwo i ochrona danych 23 oferty 1 sierpnia
Cyberbezpieczeństwo i ochrona danych 15 ofert 26 lipca
Obsługa stron internetowych 26 ofert 25 lipca
8 ofert 22 lipca