Budżet: 1000 UAH Termin: 1 dzień
Dobry wieczór. Wykonuję parsowanie różnymi metodami. Z zadaniem się zapoznałem. Zgłaszajcie się, rozważymy wasz problem.
Witaj. Zadanie dla tych, którzy mieli doświadczenie z kodem odpowiedzi serwera 403, 503. Kod dam ci osobiście, w wiadomości prywatnej. Jeśli napiszesz, w ofercie, że w ogóle rozwiązywałeś takie problemy. Wiem, ile to kosztuje. Oferty powyżej 1000 zł nie piszemy.
Parsuję dane. Nie ma problemów z tekstem, z samymi stronami. Mam problem przy parsowaniu obrazków. Nie często, ale 1 raz na 5 różnych stron się zdarza. Parsowanie odbywa się, że w jednym przypadku, że w drugim według jednej logiki.
Wykonywanie zapytań HTTPS (bez ładowania JavaScript) - Asynchroniczny proces, przez rekwest.
W obu przypadkach. Jest czysty zakupiony indywidualny proxy, limity, powtórne próby, pauzy i inne rzeczy.
Przykład. Z strony, z samej strony tekst jest parsowany. Kod odpowiedzi: 200. Kiedy wykonywana jest inna funkcja, która odpowiada za pobieranie obrazka z tej samej strony. Odpowiedź serwera: 403 lub 503. Wiem, co te błędy oznaczają. W przeglądarce obrazki są dostępne. Zamiast rekwestów próbowałem uruchamiać przez selenium. Ale z selenim bardzo długo pobierać na przykład 100 obrazków. Bo dla każdego obrazka trzeba otworzyć nowe okno. A także wydobycie z niego pobranych obrazków w ogóle nie jest opcją, prawie niemożliwe. Krótko mówiąc, przez niego nie pasuje. Jeśli na pewno mieliście z tym problem. I wiecie, co jeszcze można zrobić. Wtedy czekam na propozycję. Podstawa w kodzie, już do was napisana. Nie trzeba pisać wam nic od zera.
Budżet: 1000 UAH Termin: 1 dzień
Dobry wieczór. Wykonuję parsowanie różnymi metodami. Z zadaniem się zapoznałem. Zgłaszajcie się, rozważymy wasz problem.
Budżet: 1000 UAH Termin: 1 dzień
Cześć! Ogólnie błąd 403 to zakaz dostępu do zasobu.
Sprawdź zapytania, czy wszystkie potrzebne ciasteczka i nagłówki są dostarczane?
Możliwe, że potrzebny będzie token
Budżet: 1000 UAH Termin: 1 dzień
Trzeba oglądać stronę internetową i jak ona działa, najprawdopodobniej ciasteczka, może nie ten link
Budżet: 1100 UAH Termin: 1 dzień
Dzień dobry. Trzeba zobaczyć, jak używasz kodu. Ale najczęściej potrzebne są albo ciasteczka, albo zwiększenie przerwy między ładowaniami na jednym proxy ip
Budżet: 1100 UAH Termin: 3 dni
Dzień dobry! Zapoznając się z Państwa projektem, jestem gotów przystąpić do jego realizacji. Porozmawiajmy o szczegółach, aby osiągnąć najlepszy rezultat.
ну що панове фрілансери - за 1 хв я викачав ті всі малюнки з проблемного сайту.
АЛЕ !!!
Проблема в тому зо пан Замовник хоче універсвльний "викачувач" )))) з будь якого сайту )))
ну зрозуміло що такого не існує ))))
наприклад з того проблемного сайту то я мусів задати специфічні проксі, хедери та звичвайно що замінити урл на той, за яким і можна було б скачати малюнок, а не той урл, що вказував на пряме посилання на малбнок.
Я надав Замовнику найбільш універсальний зразок коду, який підійде для тих сайтів, які без проблем віддають малюнки.
АЛЕ ж це не вирішить проблеми з сайтами замовника, де він хоче викачувати малюнки.
ТОму що під кожний ПРОБЛЕМНИЙ сайт треба свій парсер = і тільки так.
ТАКИМ чином - в такому ТЗ, що пан Замовник хоче знайти пана Фрілансера - це нереальний проект ))))))))))
Ну що панове фрілансери. Бачите ставку залишив фахівець який зі мною працював. І таких тут багато. Я не про Івана. Все зробить. І я не сумніваюсь. Бо мав діло з ним. Іван це гуру профі який думає, що зі своїм 20 річним досвідом знає все, то це не так, і такого не може бути. Скільки працюю стільки і бачу, як молоді специ, без прокачаного профілю деруть одне місце, продвинутим фахівцям які все знають=) А також хто готовий поспорити! Є один факт! Який я замітив. У кожного фахівця, рано чи пізно закінчується рівень знань. Я стільки разів це чув, де людина працювала. А потім, ой тут я уже не можу. І це нормально! Підключався інший, і зробив те що не зміг попередній. А самовпевнені топи і гуру, в сторонці говорять це не можливо. Бо! Чи розвиватись не хочуть, чи просто не їхня тема. Наприклад Іван, він крутий напевно фахівець, щось випарсити з високою точністю з якихось неприступних сайтів. Но загальний парсинг, це уже не для нього. І це нормально! Мені не підходить те що він вміє. І є фахівці, які роблять те що мені потрібно, і вони не роблять, те що робить Іван. Ось уся проблема, гуру і топів, з великим досвідом. Він не може, то думає що не можливо! Мені давно говорили слово НЕРЕАЛЬНО! Універсальний не можливо! Але хто працював зі мною з цієї біржі. Прекрасно знає, бо сам бачив, як я викачував потрібну інфу з різних сайтів. Не лізучи кожен раз в код за заголовками, clas, id, xpath і іншою єрундою. В мене все працює на автоматі. На рівні як у штучного інтелекту. Тільки якість парсингу краща, бо штучний інтелект багато мусору всерівно потягне. Но звісно це не парсер написаний за 1 день і одною людиною, в ньому багато різних функцій. І багато різних бібліотек, які багато чого обробляють що на вході, що на виході. Його я розробляв більше чим з 10 розробниками, в нього є як фронтенд так і бекенд. Вкладено багато коштів, часу і сил. Щас по факту! Можу з гугла на автоматі, наприклад статі, по одному якомусь запиті за 1 хв. Качну пачку статей. Звісно найдуться із цих сайтів які не по силах. Наприклад з 10 візьму інфу тільки з 8 сайтів. Так це по одному слову ПАНОВЕ! Мені і 8 це уже багато! Бо я з цих 8, взагалі інфу вибрав з 1 сайту. На виході інфа буде з почті чистою html розміткою. Потім парсер її ще пережує. І взагалі буде повна інформаційна стаття з чистою Html розміткою з форматуванням. Де заголовок це заголовок, відступи, абзаци, списки і так далі. І дістану я все це. Навіть при тому, що у всіх цих сайтів буде різне як ви любите казати під капотом. А вам Іван з 20 річним досвідом не потрібно було сюди писати. Ви мені колись і за звуки на Windows писали, що на pythone вони будуть глючити, але я і цю проблему вирішив. А як що вас би послухав, то не вирішив би цієї проблеми. Ви дуже самовпевнений. Но ваше мислення в парсингу заточене під конкретику. І ніхто не каже що це погано. Но багато в чому ви помиляєтесь. Я і з картинками розберусь. З більшої половини сайтів, я і так їх качаю, бувають такі неприступні якийсь там процент. І як що потрібно буде, буде автоматом підбирати всю ту потрібну інфу з сайта, яку ви вручну підбирали. І буде працювати всерівно на автоматі. Фігня все це. Я з розробниками важкіші речі робив. Вам вчора скинув відео, де один із розробників, взагалі просто на одному толковому проксі, без всьої тої інфи що ви дописували, качнув за 1 хв, з парою строчок кода, все те саме що і ви. По більше пишіть слово не можливо. Мені це тільки настрій підіймає. Ви навіть в голові собі не уявляєте, скільки я такого не можливого давно зробив. Відписувати не потрібно, бо виключу цю функцію, в проекті. Не розводимо тут безтолкові діалоги!
Якщо хочете універсальний викачувать, зробіть його по схемі шаблонів. Те що зробив Іван додайте як один із шаблонів. Проведіть дослідження з іншими сайтами, та поповнюйте бібліотеку шаблонів викачувача. Парсінг це безкінечна бородьба двох сил де кожна із сторін лише тимчасово може назвати себе переможцем.
Ось оце правильне мислення. Ось в такому напрямку при розробці кожної нової функції, я і рухаюсь, якраз зараз це і робимо. Це і є універсальність. Колись і штучний інтелект це було щось не реально! А зараз це нічого, дивовижного. Куди його тільки не впихують відомі світові компанії. Жаль, що не всі це розуміють!
Усе вірно. Але ж шаблони - це теж потрібно збирати щоб хоча б якийсь підійш для сайту. А це теж не є та універсальність, про яку говоримо ) )) щоб раз , одним реквест з тими ж параметрами і для всіх сайтів - ось це універсальність.
А якщо вже є шаблони - то це уже інша річ.
Уже все зробили. І шаблон не супер якийсь особливий. У разі помилок підключаємо спеціальну бібліотеку. Вона відкриває такі силки які мають такі помилки, і картинки на автоматі качаються. А також спец код прописаний. В браузер кожен раз за заголовками та іншою інфою не бігаю. Короче питання закрите.
Potrzebny specjalista do zbierania i strukturyzowania otwartych informacji o sprzedawcach z marketplace'ów. Konieczne jest określenie możliwości automatycznego zbierania danych oraz utworzenie bazy sprzedawców. W odpowiedzi proszę podać: z jakimi marketplace'ami masz doświadczenie; jakie dane możesz uzyskać (nazwa sprzedawcy, link, kategorie, ocena, liczba produktów, inne dostępne pola); przykłady podobnych projektów.
Specyfikacja techniczna Projekt Ustawienie zawartości i synchronizacji dwóch sklepów Prom.ua z dostawcami części samochodowych. Zadanie Wymagana jest realizacja załadunku i aktualizacji produktów od dostawców części samochodowych dla dwóch sklepów internetowych na Prom.ua. ⸻ 1. Podłączenie dostawców Wymagana jest integracja dostawców poprzez: API dostawcy; cenniki XML, CSV, XLS; lub inny dostępny sposób pozyskiwania produktów z witryny dostawcy. Ważne jest zapewnienie pełnej synchronizacji produktów między dostawcą a sklepami Prom.ua. ⸻ 2. Filtrowanie i wybór produktów Wymagana jest realizacja możliwości wyboru produktów podczas importu według następujących parametrów: marka samochodu; kategoria części; podkategoria części; inne dostępne cechy. Przykład: Dla każdego sklepu powinna być możliwość oddzielnego określenia, które kategorie produktów i które marki samochodów należy załadować. Dodatkowe wymagania dotyczące wyboru produktów Wymagana jest realizacja możliwości wyboru produktów podczas importu nie tylko według marek samochodów i kategorii części, ale także według statusu dostępności produktu. Powinna być możliwość skonfigurowania takich scenariuszy: importować tylko produkty, które są dostępne u dostawcy; nie importować produktów ze statusem „brak w magazynie”; wyłączać lub usuwać produkty z Prom.ua po ich zniknięciu z dostępności u dostawcy; Podczas ustawiania cen powinno być możliwe łączenie filtrów: według marki samochodu; według kategorii części; według podkategorii; według dostępności produktu. Przykład: Importować tylko części do Volkswagen i Audi, kategoria „Układ hamulcowy”, które są dostępne u dostawcy. Wymagana jest również realizacja mechanizmu zapobiegania duplikacji produktów od różnych dostawców. Jeśli ten sam produkt jest dostępny u kilku dostawców, do katalogu powinien być importowany tylko jeden zapis produktu. Kryteria wyboru produktu przy wykrywaniu duplikatów: priorytet ma produkt, który jest dostępny u dostawcy; jeśli produkt jest dostępny u kilku dostawców, priorytet ma produkt z najniższą ceną; jeśli najtańszy produkt nie jest dostępny, system powinien wybrać najtańszy produkt spośród tych, które są dostępne; produkty-duplikaty od innych dostawców nie powinny tworzyć oddzielnych pozycji w katalogu. Przykład: Importować tylko części do Volkswagen i Audi, kategoria „Układ hamulcowy”, które są dostępne u dostawcy. Jeśli ta sama część jest dostępna u kilku dostawców, do katalogu importowana jest tylko jedna pozycja — od dostawcy z najniższą ceną spośród tych, u których produkt jest dostępny. ⸻ 3. Import kart produktów Podczas importu powinny być automatycznie załadowane: nazwa produktu; numer katalogowy; zdjęcia; opis produktu; cena; cechy produktu; producent; inne dostępne parametry. ⸻ 4. Aktualizacja Wymagana jest konfiguracja automatycznego: aktualizacji cen przy zmianie od dostawcy ⸻ 5. Usuwanie brakujących produktów Produkty, które nie są już dostępne u dostawcy, powinny: być wyłączane; lub być usuwane z Prom.ua (po uzgodnieniu). ⸻ 6. Zapełnienie sklepów Wymagane jest: stworzenie struktury kategorii; stworzenie podkategorii; prawidłowe przypisanie produktów do kategorii; sprawdzenie poprawności importu produktów. ⸻ 7. Wynik pracy Po zakończeniu prac powinno być: podłączeni dostawcy; ustawiony import produktów; ustawiona aktualizacja cen; ustawione dodawanie nowych produktów; ustawione wyłączanie lub usuwanie brakujących produktów; sklepy Prom.ua w pełni zapełnione i gotowe do pracy.
Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa funkcjonalnośćUstawienia filtrów: 1. Marka samochodu; 2. Model; 3. Rok produkcji (od/do); 4. Typ paliwa; 5. Pojemność silnika; 6. Przebieg; 7. Zakres cenowy; Funkcje bota: 1. Automatyczne monitorowanie nowych aukcji; 2. Sprawdzanie aktualizacji co 1-2 minuty; 3. Ochrona przed powtarzającymi się powiadomieniami (antyduplikat); 4. Możliwość dodawania i usuwania filtrów przez menu bota; 5. Zachowanie ustawień już istniejącego wyszukiwania samochodów. Format wiadomości: 1. Zdjęcie samochodu (4-zdjęcia); 2. Nazwa i numer aukcji; 3. Rok produkcji; 4. Przebieg; 5. Typ silnika i pojemność; 6. Cena buy it now; 7. Link do aukcji.
Wydobyć pełny katalog tych stron: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Wszystkie produkty muszą być połączone w jedną wspólną tabelę do importu do WP. Każdy produkt powinien być w dwóch językach (UA+RU). Są również produkty wariacyjne, które powinny być zachowane jako wariacje w podstawowej funkcjonalności WP. Import na stronę jest możliwy zarówno przez wtyczki, jak i rozwiązania niestandardowe, dlatego format tabeli może być omawiany