Budżet: 1000 UAH Termin: 1 dzień
Dobry wieczór. Wykonuję parsowanie różnymi metodami. Z zadaniem się zapoznałem. Zgłaszajcie się, rozważymy wasz problem.
Witaj. Zadanie dla tych, którzy mieli doświadczenie z kodem odpowiedzi serwera 403, 503. Kod dam ci osobiście, w wiadomości prywatnej. Jeśli napiszesz, w ofercie, że w ogóle rozwiązywałeś takie problemy. Wiem, ile to kosztuje. Oferty powyżej 1000 zł nie piszemy.
Parsuję dane. Nie ma problemów z tekstem, z samymi stronami. Mam problem przy parsowaniu obrazków. Nie często, ale 1 raz na 5 różnych stron się zdarza. Parsowanie odbywa się, że w jednym przypadku, że w drugim według jednej logiki.
Wykonywanie zapytań HTTPS (bez ładowania JavaScript) - Asynchroniczny proces, przez rekwest.
W obu przypadkach. Jest czysty zakupiony indywidualny proxy, limity, powtórne próby, pauzy i inne rzeczy.
Przykład. Z strony, z samej strony tekst jest parsowany. Kod odpowiedzi: 200. Kiedy wykonywana jest inna funkcja, która odpowiada za pobieranie obrazka z tej samej strony. Odpowiedź serwera: 403 lub 503. Wiem, co te błędy oznaczają. W przeglądarce obrazki są dostępne. Zamiast rekwestów próbowałem uruchamiać przez selenium. Ale z selenim bardzo długo pobierać na przykład 100 obrazków. Bo dla każdego obrazka trzeba otworzyć nowe okno. A także wydobycie z niego pobranych obrazków w ogóle nie jest opcją, prawie niemożliwe. Krótko mówiąc, przez niego nie pasuje. Jeśli na pewno mieliście z tym problem. I wiecie, co jeszcze można zrobić. Wtedy czekam na propozycję. Podstawa w kodzie, już do was napisana. Nie trzeba pisać wam nic od zera.
Budżet: 1000 UAH Termin: 1 dzień
Dobry wieczór. Wykonuję parsowanie różnymi metodami. Z zadaniem się zapoznałem. Zgłaszajcie się, rozważymy wasz problem.
Budżet: 1000 UAH Termin: 1 dzień
Cześć! Ogólnie błąd 403 to zakaz dostępu do zasobu.
Sprawdź zapytania, czy wszystkie potrzebne ciasteczka i nagłówki są dostarczane?
Możliwe, że potrzebny będzie token
Budżet: 1000 UAH Termin: 1 dzień
Trzeba oglądać stronę internetową i jak ona działa, najprawdopodobniej ciasteczka, może nie ten link
Budżet: 1100 UAH Termin: 1 dzień
Dzień dobry. Trzeba zobaczyć, jak używasz kodu. Ale najczęściej potrzebne są albo ciasteczka, albo zwiększenie przerwy między ładowaniami na jednym proxy ip
Budżet: 1100 UAH Termin: 3 dni
Dzień dobry! Zapoznając się z Państwa projektem, jestem gotów przystąpić do jego realizacji. Porozmawiajmy o szczegółach, aby osiągnąć najlepszy rezultat.
ну що панове фрілансери - за 1 хв я викачав ті всі малюнки з проблемного сайту.
АЛЕ !!!
Проблема в тому зо пан Замовник хоче універсвльний "викачувач" )))) з будь якого сайту )))
ну зрозуміло що такого не існує ))))
наприклад з того проблемного сайту то я мусів задати специфічні проксі, хедери та звичвайно що замінити урл на той, за яким і можна було б скачати малюнок, а не той урл, що вказував на пряме посилання на малбнок.
Я надав Замовнику найбільш універсальний зразок коду, який підійде для тих сайтів, які без проблем віддають малюнки.
АЛЕ ж це не вирішить проблеми з сайтами замовника, де він хоче викачувати малюнки.
ТОму що під кожний ПРОБЛЕМНИЙ сайт треба свій парсер = і тільки так.
ТАКИМ чином - в такому ТЗ, що пан Замовник хоче знайти пана Фрілансера - це нереальний проект ))))))))))
Ну що панове фрілансери. Бачите ставку залишив фахівець який зі мною працював. І таких тут багато. Я не про Івана. Все зробить. І я не сумніваюсь. Бо мав діло з ним. Іван це гуру профі який думає, що зі своїм 20 річним досвідом знає все, то це не так, і такого не може бути. Скільки працюю стільки і бачу, як молоді специ, без прокачаного профілю деруть одне місце, продвинутим фахівцям які все знають=) А також хто готовий поспорити! Є один факт! Який я замітив. У кожного фахівця, рано чи пізно закінчується рівень знань. Я стільки разів це чув, де людина працювала. А потім, ой тут я уже не можу. І це нормально! Підключався інший, і зробив те що не зміг попередній. А самовпевнені топи і гуру, в сторонці говорять це не можливо. Бо! Чи розвиватись не хочуть, чи просто не їхня тема. Наприклад Іван, він крутий напевно фахівець, щось випарсити з високою точністю з якихось неприступних сайтів. Но загальний парсинг, це уже не для нього. І це нормально! Мені не підходить те що він вміє. І є фахівці, які роблять те що мені потрібно, і вони не роблять, те що робить Іван. Ось уся проблема, гуру і топів, з великим досвідом. Він не може, то думає що не можливо! Мені давно говорили слово НЕРЕАЛЬНО! Універсальний не можливо! Але хто працював зі мною з цієї біржі. Прекрасно знає, бо сам бачив, як я викачував потрібну інфу з різних сайтів. Не лізучи кожен раз в код за заголовками, clas, id, xpath і іншою єрундою. В мене все працює на автоматі. На рівні як у штучного інтелекту. Тільки якість парсингу краща, бо штучний інтелект багато мусору всерівно потягне. Но звісно це не парсер написаний за 1 день і одною людиною, в ньому багато різних функцій. І багато різних бібліотек, які багато чого обробляють що на вході, що на виході. Його я розробляв більше чим з 10 розробниками, в нього є як фронтенд так і бекенд. Вкладено багато коштів, часу і сил. Щас по факту! Можу з гугла на автоматі, наприклад статі, по одному якомусь запиті за 1 хв. Качну пачку статей. Звісно найдуться із цих сайтів які не по силах. Наприклад з 10 візьму інфу тільки з 8 сайтів. Так це по одному слову ПАНОВЕ! Мені і 8 це уже багато! Бо я з цих 8, взагалі інфу вибрав з 1 сайту. На виході інфа буде з почті чистою html розміткою. Потім парсер її ще пережує. І взагалі буде повна інформаційна стаття з чистою Html розміткою з форматуванням. Де заголовок це заголовок, відступи, абзаци, списки і так далі. І дістану я все це. Навіть при тому, що у всіх цих сайтів буде різне як ви любите казати під капотом. А вам Іван з 20 річним досвідом не потрібно було сюди писати. Ви мені колись і за звуки на Windows писали, що на pythone вони будуть глючити, але я і цю проблему вирішив. А як що вас би послухав, то не вирішив би цієї проблеми. Ви дуже самовпевнений. Но ваше мислення в парсингу заточене під конкретику. І ніхто не каже що це погано. Но багато в чому ви помиляєтесь. Я і з картинками розберусь. З більшої половини сайтів, я і так їх качаю, бувають такі неприступні якийсь там процент. І як що потрібно буде, буде автоматом підбирати всю ту потрібну інфу з сайта, яку ви вручну підбирали. І буде працювати всерівно на автоматі. Фігня все це. Я з розробниками важкіші речі робив. Вам вчора скинув відео, де один із розробників, взагалі просто на одному толковому проксі, без всьої тої інфи що ви дописували, качнув за 1 хв, з парою строчок кода, все те саме що і ви. По більше пишіть слово не можливо. Мені це тільки настрій підіймає. Ви навіть в голові собі не уявляєте, скільки я такого не можливого давно зробив. Відписувати не потрібно, бо виключу цю функцію, в проекті. Не розводимо тут безтолкові діалоги!
Якщо хочете універсальний викачувать, зробіть його по схемі шаблонів. Те що зробив Іван додайте як один із шаблонів. Проведіть дослідження з іншими сайтами, та поповнюйте бібліотеку шаблонів викачувача. Парсінг це безкінечна бородьба двох сил де кожна із сторін лише тимчасово може назвати себе переможцем.
Ось оце правильне мислення. Ось в такому напрямку при розробці кожної нової функції, я і рухаюсь, якраз зараз це і робимо. Це і є універсальність. Колись і штучний інтелект це було щось не реально! А зараз це нічого, дивовижного. Куди його тільки не впихують відомі світові компанії. Жаль, що не всі це розуміють!
Усе вірно. Але ж шаблони - це теж потрібно збирати щоб хоча б якийсь підійш для сайту. А це теж не є та універсальність, про яку говоримо ) )) щоб раз , одним реквест з тими ж параметрами і для всіх сайтів - ось це універсальність.
А якщо вже є шаблони - то це уже інша річ.
Уже все зробили. І шаблон не супер якийсь особливий. У разі помилок підключаємо спеціальну бібліотеку. Вона відкриває такі силки які мають такі помилки, і картинки на автоматі качаються. А також спец код прописаний. В браузер кожен раз за заголовками та іншою інфою не бігаю. Короче питання закрите.
Dzień dobry. Potrzebny parser według słów kluczowych z wyświetlaniem wyników przez bota Telegram. Jak to ma działać: Automatyczne wyszukiwanie na 4 stronach według słów kluczowych, które czasami się zmieniają. Zapytania są wysyłane co kilka minut. Słowa są ładowane w formie pliku .txt. TG powinien zawierać przyciski: uruchom bota, zatrzymaj bota, pobierz plik (pobiera plik z aktualnymi słowami kluczowymi), załaduj plik (ładuje edytowany plik z nowymi słowami). Bots powinien ignorować wcześniej znalezione wyniki, tzn. nie wskazuje tego samego ogłoszenia dwa razy. Wynik przychodzi do bota w formie linku z zdjęciem, ale wystarczy też sam link. P.S. wyszukiwanie na stronach bez API, VPS na 6TB i 50 IP już są dostępne. Po szczegółowe informacje proszę kontaktować się na PW.
Zadanie: jeden dashboard ze wszystkimi wskaźnikami biznesowymi — reklama, lejek, płatności, praca menedżerów, planowanie przychodu. Dane są pobierane automatycznie przez API. Zakres: tylko kierunek YCL (zatrudnienie w Europie). W Kommo są też inne kierunki — do magazynu trafiają tylko transakcje z lejek YCL (filtr według lejka/tagu ustalimy).1. Źródła danych (integracje) Kommo CRM — leady, transakcje, etapy lejka, odpowiedzialni, źródła, daty przejść między etapami (koniecznie zachować historię), przyczyny odmowy, pola niestandardowe transakcji (patrz p. 2). Stripe — płatności, kwoty, statusy (sukces/odmowa/zwrot), powiązanie z transakcją. Meta Ads — wydatki, wyświetlenia, kliknięcia, CPL, leady według kampanii (działa teraz). Google Ads, Reddit Ads, LinkedIn Ads — planowane; architektura — rozszerzalne konektory bez przeróbek rdzenia. SEO/organika— Google Search Console + GA4. Przeszły związek: źródło ruchu → lead w Kommo → płatność w Stripe (UTM, ID transakcji w metadanych Stripe — mechanikę zaproponować). 2. Obowiązkowe przekroje (pola transakcji w Kommo) Każda metryka musi być filtrowana/grupowana według: Obywatelstwo klienta (Kenia, Nigeria, Indie itp.). Status pobytu: mieszka w swoim kraju / ekspat (już przebywa w Europie). To dwa różne segmenty z różnym cyklem, konwersją i wartością transakcji. Kraj umiejscowienia / usługa: Polska, Serbia, Słowacja, Niemcy (ZAV). Menedżer, zespół, kanał ruchu, okres. Jeśli jakichś pól w Kommo brakuje — wykonawca wskazuje, jakie pola należy dodać, zamawiający dodaje.3. Lejek i wskaźniki wyprzedzające Dane w przekroju lejka, dla każdego etapu — podsumowujące i wyprzedzające (leading) metryki: Ruch → lead: leady, CPL według kanałów + dynamika wydatków/kliknięć dzień do dnia. Lead → kwalifikacja: konwersja + czas pierwszej odpowiedzi, kontakty/telefony do menedżera dziennie, leady bez odpowiedzi. Kwalifikacja → umowa/faktura: konwersja + wysłane oferty, zawieszone transakcje (dni na etapie powyżej normy). Faktura → płatność: płatności, średnia wartość transakcji + niezapłacone faktury, nieudane płatności. Podsumowanie: przychód, ROMI według kanałów, run rate do planu miesiąca. 4. Cykl transakcji Średni i medianowy cykl lead → płatność (punkt odniesienia biznesu ~4 tygodnie), trend cyklu w czasie. Rozkład cyklu według etapów (ile dni transakcja spędza na każdym etapie) — aby zobaczyć, który etap się wydłuża. Lista transakcji, które utknęły na etapie dłużej niż norma. Przekrój cyklu według segmentów: obywatelstwo, status pobytu, kraj umiejscowienia, menedżer. 5. Wczesne ostrzeżenie o spadku (kluczowy blok) Ponieważ cykl ~4 tygodnie, dzisiejsze leady = płatności za miesiąc. System powinien: Porównywać leady/kwalifikacje bieżącego tygodnia z średnią ruchomą (4 tygodnie) i przy odchyleniu w dół wydawać alert: „leadów −X%, przy cyklu 4 tygodnie oczekuj spadku płatności w tygodniu [daty]”. Budować prognozę płatności na 4 tygodnie do przodu z bieżącego pipeline'u: transakcje na każdym etapie × historyczna konwersja etapu × pozostały cykl. Podświetlać na czerwono tygodnie, gdzie prognoza jest niższa od planu — z zapasem czasu na reakcję. 6. Dopłaty i planowanie sprzedaży W karcie transakcji Kommo przechowywane są data i kwota planowanej dopłaty. System powinien: Zbierać kalendarz przyszłych dopłat: całkowita liczba oczekiwanych, według tygodni/miesięcy. Podświetlać przeterminowane dopłaty (data minęła, brak płatności w Stripe) — osobna lista do dociśnięcia. Liczyć plan miesiąca jako: plan − już opłacone − dopłaty zgodnie z harmonogramem = ile nowych sprzedaży potrzebnych (w pieniądzach i w sztukach transakcji przy średniej wartości transakcji). Harmonogram według tygodni: dopłaty + prognoza nowych płatności w stosunku do tygodniowego planu. 7. Praca menedżerów Dzienny przekrój dla każdego menedżera: kontakty/telefony, rozmowy, wysłane oferty, płatności — dla każdego dnia osobno, z wykresem za okres. Postęp realizacji osobistego planu w porównaniu z tempem miesiąca (na przodzie / w tempie / w tyle). Benchmarking z kolegami. 8. Wizualizacja i role „Sygnalizatory” (zielony/żółty/czerwony) w kluczowych metrykach w odniesieniu do norm/planu; skale postępu; wykresy trendów; adaptacja do urządzeń mobilnych. Role: CEO — wszystko; ROP — cały lejek i menedżerowie; team lead — swój zespół; menedżer — swoje wskaźniki i pozycja w stosunku do kolegów. 9. Raporty i AI Automatyczne raporty według harmonogramu (codzienne podsumowanie, tygodniowy raport) w dashboardzie i/lub komunikatorze. Zapytania w dowolnej formie („jak zmienił się CPL z Meta w ciągu 2 tygodni?”) — LLM nad magazynem. Alerty w strefie czerwonej oraz według zasad z p. 5–6. 10. Oczekiwania techniczne i etapowość Magazyn (PostgreSQL/BigQuery lub analog) + ETL: webhooks Kommo + okresowa synchronizacja (15–60 min). Frontend: niestandardowy lub narzędzie BI — zaproponować z uzasadnieniem; wymagania dotyczące ról, sygnalizatorów, prognoz i zapytań AI muszą być wykonalne. Etapy: (1) audyt i mapa metryk → (2) MVP: Kommo + Stripe + Meta, lejek, sygnalizatory, role → (3) cykl transakcji, wczesne ostrzeżenie, dopłaty i plan → (4) SEO, raporty AI, alerty → (5) nowe kanały reklamowe. Płatność etapowa, po każdym etapie — demo. W odpowiedzi proszę wskazać: podobne projekty (analiza przeszła), stack z uzasadnieniem, oszacowanie czasów i kosztów według etapów, miesięczny koszt posiadania (hosting, tokeny, licencje).
Potrzebny specjalista do zbierania i strukturyzowania otwartych informacji o sprzedawcach z marketplace'ów. Konieczne jest określenie możliwości automatycznego zbierania danych oraz utworzenie bazy sprzedawców. W odpowiedzi proszę podać: z jakimi marketplace'ami masz doświadczenie; jakie dane możesz uzyskać (nazwa sprzedawcy, link, kategorie, ocena, liczba produktów, inne dostępne pola); przykłady podobnych projektów.
Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa funkcjonalnośćUstawienia filtrów: 1. Marka samochodu; 2. Model; 3. Rok produkcji (od/do); 4. Typ paliwa; 5. Pojemność silnika; 6. Przebieg; 7. Zakres cenowy; Funkcje bota: 1. Automatyczne monitorowanie nowych aukcji; 2. Sprawdzanie aktualizacji co 1-2 minuty; 3. Ochrona przed powtarzającymi się powiadomieniami (antyduplikat); 4. Możliwość dodawania i usuwania filtrów przez menu bota; 5. Zachowanie ustawień już istniejącego wyszukiwania samochodów. Format wiadomości: 1. Zdjęcie samochodu (4-zdjęcia); 2. Nazwa i numer aukcji; 3. Rok produkcji; 4. Przebieg; 5. Typ silnika i pojemność; 6. Cena buy it now; 7. Link do aukcji.
Wydobyć pełny katalog tych stron: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Wszystkie produkty muszą być połączone w jedną wspólną tabelę do importu do WP. Każdy produkt powinien być w dwóch językach (UA+RU). Są również produkty wariacyjne, które powinny być zachowane jako wariacje w podstawowej funkcjonalności WP. Import na stronę jest możliwy zarówno przez wtyczki, jak i rozwiązania niestandardowe, dlatego format tabeli może być omawiany