Rozwinięcie analizatora dla Chrome Web Store
Witam wszystkich, szukam wykonawcy do napisania parsera.
Następnie ten skrypt będzie rozwijany, być może o inne sklepy z rozszerzeniami, być może o dodatkową funkcjonalność, dlatego liczę na okresową współpracę.
Jeśli robiliście podobne parsery lub macie podobne projekty w portfolio, proszę o informację, będzie to dużym plusem.
Budżet orientacyjny, dlatego proszę podawać swoje orientacyjne prognozy.
Dziękuję!
Oto wstępne specyfikacje, ostateczne już po szczegółowym omówieniu z wykonawcą.
===============
Stworzyć parser dla Chrome Web Store, który będzie parsował wszystkie możliwe dane ze sklepu, takie jak:
Szczegółowe informacje o rozszerzeniu/temacie
Nazwa
Opis
Kategoria
Recenzje
…i wiele innych
Pobranie archiwum rozszerzenia i uzyskanie dodatkowych informacji z niego (dostarczę narzędzie umożliwiające to lub pomogę w konfiguracji)
Zapisanie pliku
Rozmiar pliku
Tłumaczenia rozszerzenia
Dane z manifestu
Kategorie i indeksy według kategorii
Kolekcje i indeksy według kolekcji
Indeksy wyników według kluczowych słów w rozwijanym menu wyszukiwania (słowa kluczowe zostaną wcześniej przekazane skryptowi)
Indeksy wyników według kluczowych słów w wynikach wyszukiwania (słowa kluczowe zostaną wcześniej przekazane skryptowi)
Wymagania techniczne:
Skrypt ma być uruchamiany z konsoli
Obsługa wielowątkowości (ponieważ jest wiele rozszerzeń i danych, konieczna jest optymalizacja parsowania)
Skonfigurowanie zapisu danych w Postgresql i CSV
Parser musi radzić sobie z różnymi blokadami, takimi jak captcha czy blokady IP, za pomocą proxy lub innych narzędzi
Wdrożenie systemu logowania w celu śledzenia stanu parsera podczas działania
Dostarczanie raportów po wykonaniu skryptu (liczba przetworzonych rozszerzeń, kategorii, słów kluczowych, itp.)
Będzie dodatkowym atutem:
Dobra znajomość baz danych i ich optymalizacja w celu zmniejszenia liczby duplikatów danych podczas ponownego parsowania
Parsowanie nie według znaczników, a według zapytań do backendu (ponieważ dla tego partnera będzie to istotne)
Doświadczenie w pisaniu podobnych parserów
-
786 27 2 2 Witam! Mam duże doświadczenie w pisaniu parserów i botów. Dobrze znam możliwości omijania captchy, podmiany IP i User-Agent, stosowania proxy oraz pobierania plików ze stron. Dobrym rozwiązaniem będzie zrealizowanie tego przy użyciu Selenium, można spróbować również zapytań, ale ta opcja ustępuje pod względem omijania blokad. Planujesz używać kont Google czy parsować bez nich? Możemy szczegółowo omówić projekt w wiadomościach prywatnych.
-
8193 63 1 Witam wszystkich! Jestem gotowy podjąć się napisania parsera dla Chrome Web Store. Czekam na możliwość omówienia szczegółów projektu i rozpoczęcia pracy. Dziękuję!
-
2912 44 0 Dzień dobry.
Mogę zrealizować na nodejs
----------------------------------
-
8867 60 0 1 Dzień dobry!
Gotowi stworzyć parser dla Chrome Web Store.
Mamy doświadczenie w tworzeniu podobnych botów.
Piszemy w Pythonie. Zajmujemy 9 miejsce na platformie w tej dziedzinie.
Będziemy zadowoleni z współpracy!
-
5000 грн за розв'язок капчі? 😂 😅
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Nie przychodzą maile o zamówieniach i zgłoszeniach z witryny
57 PLN
Wymagana jest diagnostyka i usunięcie problemu z powiadomieniami e-mail na stronie OpenCart. Obecnie nie przychodzą powiadomienia na e-mail dotyczące następujących zdarzeń: nowe zamówienia; wnioski o oddzwonienie; komentarze pozostawione przez użytkowników; pytania i odpowiedzi… C i C++, Bazy danych i SQL ∙ 4 godziny 20 minut temu ∙ 13 ofert |
Rozwiązać problem z obciążeniem hostingu strony na PrestaShopStrona z każdym miesiącem potrzebuje coraz więcej zasobów. Odpowiedź hostingu: Podczas sprawdzania serwera odnotowano zwiększone obciążenie ze strony serwera baz danych MySQL. W momentach wystąpienia błędu 500 proces MySQL wykorzystuje znaczną część zasobów procesora, co może… PHP, Bazy danych i SQL ∙ 8 godzin 20 minut temu ∙ 19 ofert |
Konfiguracja systemu kopii zapasowej i optymalizacja infrastruktury serwerowejCel prac: Zapewnienie niezawodnego przechowywania danych systemu CRM i aplikacji poprzez wdrożenie zautomatyzowanego systemu tworzenia kopii zapasowych (Backups), a także przeprowadzenie szeregu poprawek serwerowych w celu zwiększenia stabilności, bezpieczeństwa i wydajności… DevOps, Bazy danych i SQL ∙ 9 godzin 50 minut temu ∙ 18 ofert |
System PIM
820 PLN
Trzeba zrobić system PIM. Liczba produktów — kilka milionów. Jest kilku dostawców, którzy podają dane w różnych formatach: csv, xml, API. Dane są ograniczone, często trzeba znajdować cechy produktów w innych źródłach i uzupełniać. Trzeba zrobić tabelę, w której będą… Bazy danych i SQL, Programowanie stron internetowych ∙ 11 godzin 47 minut temu ∙ 33 oferty |
Integracja BAS szwejk 8
820 PLN
Dzień dobry, trzeba zintegrować BAS szwejk 8, podłączyć stronę i CRM sales drive, ustawić raporty i inne dane Bazy danych i SQL ∙ 12 godzin 52 minuty temu ∙ 8 ofert |