Uzupełnić skrypt parsowania w php o wielowątkowość lub użycie proxy na hostingu
164 PLN
Jest skrypt napisany w php, który parsuje stronę internetową producenta, przeszukując wszystkie możliwe kombinacje numerów seryjnych (w formacie PF567GHT) i zapisując wyniki odpowiedzi do pliku. Parsowanie odbywa się przez api producenta w tym celu. Żądanie post curl, odpowiedź w formacie json o statusie numeru seryjnego.
Jedynym problemem jest to, że po sparsowaniu 200-500 tys. numerów seryjnych (z przerwą 1 sekundy po każdych 10 numerach seryjnych) otrzymuję bana na pewien czas, a potem znowu po pewnym czasie jest możliwość kontynuowania parsowania z tego ip. Wszystko odbywa się w nieskończonej pętli na zwykłym hostingu przez cron, na którym zabronione jest używanie proxy, ale skrypty mogą być wykonywane bez ograniczeń czasowych.
Potrzebna pomoc w uruchomieniu kilku takich skryptów php równolegle przez cron, każdy z własnym ip, aby nie było bana po kilku setkach tysięcy. Lub wasza propozycja realizacji i obejścia ograniczenia hostingu dotyczącego używania proxy.
-
2 dni164 PLN
3840 78 0 2 dni164 PLN
Jeśli hosting blokuje proxy, to banu w żaden sposób nie da się obejść. Chyba że parsować z tego hostingu przez inny serwer. Po raz pierwszy słyszę, że hosting nie pozwala na używanie proxy! Najlepszym rozwiązaniem jest zmiana hostingu!
-
2 dni164 PLN
3715 88 0 2 dni164 PLN
Dzień dobry, mogę poprawić
- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -
-
7 dni573 PLN
2138 22 2 7 dni573 PLN
cześć, mogę to wszystko przepisać na pythonie z proxy i wielowątkowością
mam duże doświadczenie w parsowaniu
-
1 dzień164 PLN
1328 35 1 1 dzień164 PLN
Dzień dobry. Zajmuję się pisaniem skryptów w PHP. Muszę zobaczyć, jaki macie kod i jaki jest problem z proxy.
-
Очень странно, что хостинг запрещает использовать прокси. Но даже если это так, надо просто искать нормальные платные прокси.
-
Покупал платные Прокси для теста и не мог получить страницу через curl запрос. После обращения в поддержку хостинга о данной проблеме - получил ответ, что хостинг запретил использование Прокси.
-
Якщо номер такого формату PF567GHT, то чого би просто не створити БД, яка би мала 12 000 000 000 записів ? І не треба нічого парсити. Просто з БД вибирайте необхідний номер і все.
-
Базу серійних номерів ви створите, проте щоб дізнатись який статус цього серійного номеру в базі виробника - потрібно робити запит до сайту виробника та відповідно обробити його відповідь на своїй стороні
-
Ну так то для цього всякі мікросервіси підінімають, на других хостингах
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 8 godzin 27 minut temu ∙ 5 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 12 godzin 59 minut temu ∙ 9 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 18 godzin 47 minut temu ∙ 21 ofert |
Parsowanie i klasyfikacja danych
Szukamy dewelopera do realizacji systemu zbierania i strukturyzacji danych z otwartych źródeł. Posiadamy bazę właścicieli małych firm w USA, która zawiera imię i nazwisko, nazwę firmy, adres oraz stan. Należy zbudować proces wzbogacania tych rekordów dodatkowymi informacjami z… Programowanie stron internetowych, Parsowanie danych ∙ 19 godzin 55 minut temu ∙ 35 ofert |
Svitlahata
61 PLN
Potrzebne jest zaimportowanie 1819 produktów z pliku XML/YML Prom.ua do OpenCart 3. Jest gotowy plik XML, który zawiera nazwy produktów, opisy, ceny, zdjęcia, cechy, producentów i kategorie. Wymagane: zaimportować wszystkie produkty do OpenCart 3; utworzyć i powiązać… Content Management Systems, Parsowanie danych ∙ 1 dzień 22 godziny temu ∙ 32 oferty |
Kijów