Парсинг выдачи Google
На данный момент мы используем A-parser, мы в парсим 100 позиций выдачи гугла порядка 500к - 1.5 милионов запросов в день. До того, как гугл перешел c цифровой капчи на recaptcha2, для решения капч мы использовали capmonster2 и скорость была около 4к в минуту. После перехода на новую капчу, капмонстр перестал справляться с нагрузкой, в связи с чем было решено попробовать отказаться от него. Пробовали сервисы, в которых оплата идет за определенное количество решенных капч, но они оказались не эффективными, так-как время решения капчи больше, чем выигранное благодаря этому время и средняя скорость еще меньше, чем вообще без разгадывания капчи. Без разгадывания капчи скорость так же очень низкая, варьируется от 50 до 700 запросов в минуту. Дополнительные прокся не сильно помогают, так-как в начале скорость нормальная (около 2к/минуту), но очень быстро запросы банятся и скорость снова падает.
Необходимо:
1) Наладить безпрерывный ежедневный парсинг 10 000 000 запросов поисковой выдаче Google.
2) Дооптимизировать A-parser или предложить свое решение.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Baza stron na woocommercePotrzebna jest baza ukraińskich stron internetowych sklepów internetowych na woocommerce z kontaktami, które są podane na stronach. Tylko działające strony (wskaźnik: aktualizacja katalogu/treści, działająca domena) Format tabeli - adres strony, numer telefonu, e-mail. Parsowanie danych ∙ 1 dzień 11 godzin temu ∙ 20 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 3 dni 2 godziny temu ∙ 17 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 3 dni 6 godzin temu ∙ 34 oferty |
Wymagany programista do parsowania katalogu i automatyzacji importu danychSzczegółowe TZ w załączonym dokumencie proszę w odpowiedzi podać orientacyjną cenę i terminy realizacji czy masz doświadczenie w parsowaniu dużych katalogów jakie możliwe trudności lub ograniczenia widzisz w tym zadaniu Bazy danych i SQL, Parsowanie danych ∙ 3 dni 9 godzin temu ∙ 40 ofert |
Znaleźć feed produktowy (Google Merchant XML) dla strony na OpenCart
58 PLN
Konieczne jest znalezienie bezpośredniego linku do działającego pliku z danymi produktowymi (XML) konkurenta dla Google Merchant Center Platforma (CMS): OpenCart / ocStore Znajdź oryginalny plik z danymiWymagania dotyczące wyniku: Roboczy link do pliku XML Python, Parsowanie danych ∙ 3 dni 14 godzin temu ∙ 24 oferty |
Kijów