Budget: 1000 UAH Deadline: 1 day
Good evening. I perform parsing using various methods. I am familiar with the task. Please reach out, and we will consider your problem.
Hello. This task is for those who have experience with server response codes 403, 503. I will give you the code personally, in private messages. If you write, please mention in your bid that you have dealt with such issues before. I know how much it costs. Do not write bids over 1000 UAH.
I am parsing data. There are no problems with the text or the pages themselves. I have a problem when parsing images. It doesn't happen often, but it occurs once in 5 different sites. The parsing occurs in the same logic in both cases.
Executing HTTPS requests (without loading JavaScript) - Asynchronous process, through requests.
In both cases. There is a clean purchased individual proxy, limits, retries, pauses, and other things.
Example. From the site, the text is parsed from the page itself. Response code: 200. When another function is executed that is responsible for downloading the image from the same site. Server response: 403 or 503. I know what these errors mean. The images are accessible in the browser. Instead of requests, I tried to run it through Selenium. But it takes a very long time to download, for example, 100 images. Because a new window needs to be opened for each image. Also, retrieving the downloaded images from it is not an option at all, almost impossible. In short, it is not suitable. If you have definitely had such a problem and know what else can be done. Then I expect your proposal. The base code is already written for you. There is no need to write anything from scratch.
Budget: 1000 UAH Deadline: 1 day
Good evening. I perform parsing using various methods. I am familiar with the task. Please reach out, and we will consider your problem.
Budget: 1000 UAH Deadline: 1 day
Hello! Generally, error 403 is a forbidden access to the resource.
Check the requests if you are providing all the necessary cookies and headers?
You might need a token.
Budget: 1000 UAH Deadline: 1 day
You need to look at the website and how it works, most likely cookies, maybe not the right link.
Budget: 1100 UAH Deadline: 1 day
Good afternoon. We need to see how you are using the code. But most often, either cookies are needed, or to increase the pause between downloads on one proxy IP.
Budget: 1100 UAH Deadline: 3 days
Good day! Having reviewed your project, I am ready to start working on it. Let's discuss the details for the best result.
ну що панове фрілансери - за 1 хв я викачав ті всі малюнки з проблемного сайту.
АЛЕ !!!
Проблема в тому зо пан Замовник хоче універсвльний "викачувач" )))) з будь якого сайту )))
ну зрозуміло що такого не існує ))))
наприклад з того проблемного сайту то я мусів задати специфічні проксі, хедери та звичвайно що замінити урл на той, за яким і можна було б скачати малюнок, а не той урл, що вказував на пряме посилання на малбнок.
Я надав Замовнику найбільш універсальний зразок коду, який підійде для тих сайтів, які без проблем віддають малюнки.
АЛЕ ж це не вирішить проблеми з сайтами замовника, де він хоче викачувати малюнки.
ТОму що під кожний ПРОБЛЕМНИЙ сайт треба свій парсер = і тільки так.
ТАКИМ чином - в такому ТЗ, що пан Замовник хоче знайти пана Фрілансера - це нереальний проект ))))))))))
Ну що панове фрілансери. Бачите ставку залишив фахівець який зі мною працював. І таких тут багато. Я не про Івана. Все зробить. І я не сумніваюсь. Бо мав діло з ним. Іван це гуру профі який думає, що зі своїм 20 річним досвідом знає все, то це не так, і такого не може бути. Скільки працюю стільки і бачу, як молоді специ, без прокачаного профілю деруть одне місце, продвинутим фахівцям які все знають=) А також хто готовий поспорити! Є один факт! Який я замітив. У кожного фахівця, рано чи пізно закінчується рівень знань. Я стільки разів це чув, де людина працювала. А потім, ой тут я уже не можу. І це нормально! Підключався інший, і зробив те що не зміг попередній. А самовпевнені топи і гуру, в сторонці говорять це не можливо. Бо! Чи розвиватись не хочуть, чи просто не їхня тема. Наприклад Іван, він крутий напевно фахівець, щось випарсити з високою точністю з якихось неприступних сайтів. Но загальний парсинг, це уже не для нього. І це нормально! Мені не підходить те що він вміє. І є фахівці, які роблять те що мені потрібно, і вони не роблять, те що робить Іван. Ось уся проблема, гуру і топів, з великим досвідом. Він не може, то думає що не можливо! Мені давно говорили слово НЕРЕАЛЬНО! Універсальний не можливо! Але хто працював зі мною з цієї біржі. Прекрасно знає, бо сам бачив, як я викачував потрібну інфу з різних сайтів. Не лізучи кожен раз в код за заголовками, clas, id, xpath і іншою єрундою. В мене все працює на автоматі. На рівні як у штучного інтелекту. Тільки якість парсингу краща, бо штучний інтелект багато мусору всерівно потягне. Но звісно це не парсер написаний за 1 день і одною людиною, в ньому багато різних функцій. І багато різних бібліотек, які багато чого обробляють що на вході, що на виході. Його я розробляв більше чим з 10 розробниками, в нього є як фронтенд так і бекенд. Вкладено багато коштів, часу і сил. Щас по факту! Можу з гугла на автоматі, наприклад статі, по одному якомусь запиті за 1 хв. Качну пачку статей. Звісно найдуться із цих сайтів які не по силах. Наприклад з 10 візьму інфу тільки з 8 сайтів. Так це по одному слову ПАНОВЕ! Мені і 8 це уже багато! Бо я з цих 8, взагалі інфу вибрав з 1 сайту. На виході інфа буде з почті чистою html розміткою. Потім парсер її ще пережує. І взагалі буде повна інформаційна стаття з чистою Html розміткою з форматуванням. Де заголовок це заголовок, відступи, абзаци, списки і так далі. І дістану я все це. Навіть при тому, що у всіх цих сайтів буде різне як ви любите казати під капотом. А вам Іван з 20 річним досвідом не потрібно було сюди писати. Ви мені колись і за звуки на Windows писали, що на pythone вони будуть глючити, але я і цю проблему вирішив. А як що вас би послухав, то не вирішив би цієї проблеми. Ви дуже самовпевнений. Но ваше мислення в парсингу заточене під конкретику. І ніхто не каже що це погано. Но багато в чому ви помиляєтесь. Я і з картинками розберусь. З більшої половини сайтів, я і так їх качаю, бувають такі неприступні якийсь там процент. І як що потрібно буде, буде автоматом підбирати всю ту потрібну інфу з сайта, яку ви вручну підбирали. І буде працювати всерівно на автоматі. Фігня все це. Я з розробниками важкіші речі робив. Вам вчора скинув відео, де один із розробників, взагалі просто на одному толковому проксі, без всьої тої інфи що ви дописували, качнув за 1 хв, з парою строчок кода, все те саме що і ви. По більше пишіть слово не можливо. Мені це тільки настрій підіймає. Ви навіть в голові собі не уявляєте, скільки я такого не можливого давно зробив. Відписувати не потрібно, бо виключу цю функцію, в проекті. Не розводимо тут безтолкові діалоги!
Якщо хочете універсальний викачувать, зробіть його по схемі шаблонів. Те що зробив Іван додайте як один із шаблонів. Проведіть дослідження з іншими сайтами, та поповнюйте бібліотеку шаблонів викачувача. Парсінг це безкінечна бородьба двох сил де кожна із сторін лише тимчасово може назвати себе переможцем.
Ось оце правильне мислення. Ось в такому напрямку при розробці кожної нової функції, я і рухаюсь, якраз зараз це і робимо. Це і є універсальність. Колись і штучний інтелект це було щось не реально! А зараз це нічого, дивовижного. Куди його тільки не впихують відомі світові компанії. Жаль, що не всі це розуміють!
Усе вірно. Але ж шаблони - це теж потрібно збирати щоб хоча б якийсь підійш для сайту. А це теж не є та універсальність, про яку говоримо ) )) щоб раз , одним реквест з тими ж параметрами і для всіх сайтів - ось це універсальність.
А якщо вже є шаблони - то це уже інша річ.
Уже все зробили. І шаблон не супер якийсь особливий. У разі помилок підключаємо спеціальну бібліотеку. Вона відкриває такі силки які мають такі помилки, і картинки на автоматі качаються. А також спец код прописаний. В браузер кожен раз за заголовками та іншою інфою не бігаю. Короче питання закрите.
Good evening, there is a task: you need to check the availability and relevance of the prices of products added to the website (the website is on the prom.ua platform) from the supplier's site 1-2 times a day. Can you calculate the price and how it will look?
Set up automatic daily updates of product availability on our website on prom.ua. We have a supplier who sends a price list of products in Excel format to our email every day. The items on our website and in the supplier's price list are the same. The values in the "stock" column are either out of stock, a number, or more than a box - these need to be updated on the site to either Ready for shipment or Out of stock. Items that are not in the supplier's price list should remain unchanged. Please propose a solution, timeline, and budget. Thank you in advance for your response, I look forward to collaborating with a specialist.
Hello! I am looking for a performer for ongoing collaboration who is knowledgeable about Opencart. A person who is available and has a positive attitude) Parsing, uploading products in two languages UA + ru, as well as forming the necessary markup immediately I want to complete the work in several stages. 1. Update stock for all suppliers and completely remove outdated products from the site and database. 2. Refinement of the product category, specifically parsing subcategories. 3. Parse new items in old categories. 4. Parse new suppliers into new categories.
A project needs to be implemented for collecting and structuring a large array of images from open web sources (initially 2000 images). The task includes: - automated image collection; - uploading files in the highest available quality; - classifying images by categories. Expected results: - a structured image database; - a clear cataloging system; - delivery of the results via Google Drive or another agreed method;
Good day! Two tasks need to be completed: 1. Develop a product parser from an external website (10–40 thousand items, marketplace) with structured data saved in MySQL for subsequent output in WordPress. 2. Install and configure n8n on VPS, as well as organize AI content processing: prompt setup, text rewriting, image processing, SEO optimization, and text checking for AI detection. You can estimate the cost of completing both the entire project and each task separately. .