Parsera OnliFans
Tworzenie parsera w języku Python do gromadzenia treści medialnych (foto i wideo) z stron internetowych w modelach xh.Parzer musi być w stanie automatycznie dokonywać wejścia na strony modeli, pobierać treść i strukturalnie przechowywać ją w magazynie MinIO.2 .Wymagania 2.1 Źródło danych:
Parser pobiera dane z stron internetowych modeli hhh: hhh.2.2 Wymagania funkcjonalne:
- Parser musi wyciągnąć linki do modelu OnlyFans z tabeli Airtable.- Algoritm pracy parsera: 1.Odbiór linków z Airtable.2 .Przejście po otrzymanej linku.3 .Automatyczna autoryzacja w koncie hhh.CzteryWyszukaj treści zdjęć i wideo na stronie modelu.5 .Pobieranie zdjęć i treści wideo.Pobierane obrazy muszą mieć format jpg, a wideo mp4.2.3 Niefunkcjonalne wymagania:
Aktualne wydarzenia i błędy w pracy parsera muszą być zapisywane w pliku logowym.- Parzer powinien mieć możliwość wykonywania asynchronicznego w celu optymalizacji prędkości pobierania.• Asynk2.4 Struktura przechowywania danych: - Dane muszą być przechowywane w obiektowym magazynie MinIO.- Struktura papaków: - "Nazwa sieci społecznościowej" (na przykład, hhh) - "Nazwa modelu" (nazwa modelu lub nickname) - "Fotografia" (dla obrazów) - "Wideo" (dla wideo) 3.Eksport danych: - Pobrane treści medialne będą przechowywane w MinIO z uwzględnieniem powyżej opisanej struktury folderów.CzteryObsługa pracy z proxy i ReCaptcha: - Parser musi wspierać korzystanie z zewnętrznych proxy w celu zapewnienia anonimowości i zablokowania.- Mechanizm korzystania z proxy musi być realizowany i dostosowany zgodnie z wymaganiami klienta.- Jest potrzeba przeglądu ReCaptcha, konieczne jest stworzenie automatycznego mechanizmu do jego przetwarzania.5 .Autoryzacja na stronie hhh: - Parser powinien mieć możliwość automatycznej autoryzacji na stronach modeli OnlyFans.- W tym celu parser musi przyjąć login i hasło lub użyć przechowywanych danych do autoryzacji.6.Tymczasowy algorytm parsingu: - Parser powinien mieć możliwość regularnego przeglądu nowych linków z tabeli Airtable (dziennie).W przypadku odnalezienia nowych linków, parser musi automatycznie rozpocząć gromadzenie treści z odpowiednich stron w modelach xh.- Musisz mieć mechanizm do okresowego przekształcania istniejącego treści z nowym (tygodniowo).7 .Dodatkowe szczegóły: - W razie konieczności korzystania z płatnych narzędzi do przepływu kropli, ich wybór i wykorzystanie należy zgodzić się z klientem.Cały kod parsera powinien być dobrze zorganizowany, dokumentowany i komentowany, aby zapewnić zrozumienie jego logiki i funkcjonalności.- Dokumenty powinny zawierać instrukcje dotyczące konfiguracji i uruchomienia pojemnika Docker z parzerem oraz opis algorytmu pracy i użytkowania.- Możliwe, że parzer jest oparty na selenium web driver, pod warunkiem, że będzie działać w pojemniku docker.Konieczne jest, aby pobrane treści nie powtarzały się.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
OpenCart — katalog wynajmu sprzętu specjalistycznego
492 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 15 godzin 36 minut temu ∙ 42 oferty |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 19 godzin 29 minut temu ∙ 24 oferty |
Parsowanie i klasyfikacja dużej liczby obrazówNależy zrealizować projekt zbierania i strukturyzacji dużej ilości architektonicznych obrazów z otwartych źródeł internetowych.Zadanie obejmuje: automatyczne zbieranie obrazów; ładowanie plików w maksymalnie dostępnej jakości; klasyfikację obrazów według kategorii: Exterior;… Python, Parsowanie danych ∙ 19 godzin 57 minut temu ∙ 30 ofert |
Parsowanie CV z Work.ua i Rabota.uaNależy pobrać w formacie Excel bazę aktualnych CV z Work.ua i Работа.ua. Preferowane, aby plik Excel zawierał następujące kolumny:ImięNumer telefonu (w formacie +380...)Adres e-mailStanowisko (zawód)Stanowiska, które rozważaKategoria branży (rubryka)Branża, w której… Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 1 dzień 19 godzin temu ∙ 18 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 2 dni 11 godzin temu ∙ 42 oferty |
Ukraina