Budget: 1000 UAH Deadline: 1 day
Good evening. I perform parsing using various methods. I am familiar with the task. Please reach out, and we will consider your problem.
Hello. This task is for those who have experience with server response codes 403, 503. I will give you the code personally, in private messages. If you write, please mention in your bid that you have dealt with such issues before. I know how much it costs. Do not write bids over 1000 UAH.
I am parsing data. There are no problems with the text or the pages themselves. I have a problem when parsing images. It doesn't happen often, but it occurs once in 5 different sites. The parsing occurs in the same logic in both cases.
Executing HTTPS requests (without loading JavaScript) - Asynchronous process, through requests.
In both cases. There is a clean purchased individual proxy, limits, retries, pauses, and other things.
Example. From the site, the text is parsed from the page itself. Response code: 200. When another function is executed that is responsible for downloading the image from the same site. Server response: 403 or 503. I know what these errors mean. The images are accessible in the browser. Instead of requests, I tried to run it through Selenium. But it takes a very long time to download, for example, 100 images. Because a new window needs to be opened for each image. Also, retrieving the downloaded images from it is not an option at all, almost impossible. In short, it is not suitable. If you have definitely had such a problem and know what else can be done. Then I expect your proposal. The base code is already written for you. There is no need to write anything from scratch.
Budget: 1000 UAH Deadline: 1 day
Good evening. I perform parsing using various methods. I am familiar with the task. Please reach out, and we will consider your problem.
Budget: 1000 UAH Deadline: 1 day
Hello! Generally, error 403 is a forbidden access to the resource.
Check the requests if you are providing all the necessary cookies and headers?
You might need a token.
Budget: 1000 UAH Deadline: 1 day
You need to look at the website and how it works, most likely cookies, maybe not the right link.
Budget: 1100 UAH Deadline: 1 day
Good afternoon. We need to see how you are using the code. But most often, either cookies are needed, or to increase the pause between downloads on one proxy IP.
Budget: 1100 UAH Deadline: 3 days
Good day! Having reviewed your project, I am ready to start working on it. Let's discuss the details for the best result.
ну що панове фрілансери - за 1 хв я викачав ті всі малюнки з проблемного сайту.
АЛЕ !!!
Проблема в тому зо пан Замовник хоче універсвльний "викачувач" )))) з будь якого сайту )))
ну зрозуміло що такого не існує ))))
наприклад з того проблемного сайту то я мусів задати специфічні проксі, хедери та звичвайно що замінити урл на той, за яким і можна було б скачати малюнок, а не той урл, що вказував на пряме посилання на малбнок.
Я надав Замовнику найбільш універсальний зразок коду, який підійде для тих сайтів, які без проблем віддають малюнки.
АЛЕ ж це не вирішить проблеми з сайтами замовника, де він хоче викачувати малюнки.
ТОму що під кожний ПРОБЛЕМНИЙ сайт треба свій парсер = і тільки так.
ТАКИМ чином - в такому ТЗ, що пан Замовник хоче знайти пана Фрілансера - це нереальний проект ))))))))))
Ну що панове фрілансери. Бачите ставку залишив фахівець який зі мною працював. І таких тут багато. Я не про Івана. Все зробить. І я не сумніваюсь. Бо мав діло з ним. Іван це гуру профі який думає, що зі своїм 20 річним досвідом знає все, то це не так, і такого не може бути. Скільки працюю стільки і бачу, як молоді специ, без прокачаного профілю деруть одне місце, продвинутим фахівцям які все знають=) А також хто готовий поспорити! Є один факт! Який я замітив. У кожного фахівця, рано чи пізно закінчується рівень знань. Я стільки разів це чув, де людина працювала. А потім, ой тут я уже не можу. І це нормально! Підключався інший, і зробив те що не зміг попередній. А самовпевнені топи і гуру, в сторонці говорять це не можливо. Бо! Чи розвиватись не хочуть, чи просто не їхня тема. Наприклад Іван, він крутий напевно фахівець, щось випарсити з високою точністю з якихось неприступних сайтів. Но загальний парсинг, це уже не для нього. І це нормально! Мені не підходить те що він вміє. І є фахівці, які роблять те що мені потрібно, і вони не роблять, те що робить Іван. Ось уся проблема, гуру і топів, з великим досвідом. Він не може, то думає що не можливо! Мені давно говорили слово НЕРЕАЛЬНО! Універсальний не можливо! Але хто працював зі мною з цієї біржі. Прекрасно знає, бо сам бачив, як я викачував потрібну інфу з різних сайтів. Не лізучи кожен раз в код за заголовками, clas, id, xpath і іншою єрундою. В мене все працює на автоматі. На рівні як у штучного інтелекту. Тільки якість парсингу краща, бо штучний інтелект багато мусору всерівно потягне. Но звісно це не парсер написаний за 1 день і одною людиною, в ньому багато різних функцій. І багато різних бібліотек, які багато чого обробляють що на вході, що на виході. Його я розробляв більше чим з 10 розробниками, в нього є як фронтенд так і бекенд. Вкладено багато коштів, часу і сил. Щас по факту! Можу з гугла на автоматі, наприклад статі, по одному якомусь запиті за 1 хв. Качну пачку статей. Звісно найдуться із цих сайтів які не по силах. Наприклад з 10 візьму інфу тільки з 8 сайтів. Так це по одному слову ПАНОВЕ! Мені і 8 це уже багато! Бо я з цих 8, взагалі інфу вибрав з 1 сайту. На виході інфа буде з почті чистою html розміткою. Потім парсер її ще пережує. І взагалі буде повна інформаційна стаття з чистою Html розміткою з форматуванням. Де заголовок це заголовок, відступи, абзаци, списки і так далі. І дістану я все це. Навіть при тому, що у всіх цих сайтів буде різне як ви любите казати під капотом. А вам Іван з 20 річним досвідом не потрібно було сюди писати. Ви мені колись і за звуки на Windows писали, що на pythone вони будуть глючити, але я і цю проблему вирішив. А як що вас би послухав, то не вирішив би цієї проблеми. Ви дуже самовпевнений. Но ваше мислення в парсингу заточене під конкретику. І ніхто не каже що це погано. Но багато в чому ви помиляєтесь. Я і з картинками розберусь. З більшої половини сайтів, я і так їх качаю, бувають такі неприступні якийсь там процент. І як що потрібно буде, буде автоматом підбирати всю ту потрібну інфу з сайта, яку ви вручну підбирали. І буде працювати всерівно на автоматі. Фігня все це. Я з розробниками важкіші речі робив. Вам вчора скинув відео, де один із розробників, взагалі просто на одному толковому проксі, без всьої тої інфи що ви дописували, качнув за 1 хв, з парою строчок кода, все те саме що і ви. По більше пишіть слово не можливо. Мені це тільки настрій підіймає. Ви навіть в голові собі не уявляєте, скільки я такого не можливого давно зробив. Відписувати не потрібно, бо виключу цю функцію, в проекті. Не розводимо тут безтолкові діалоги!
Якщо хочете універсальний викачувать, зробіть його по схемі шаблонів. Те що зробив Іван додайте як один із шаблонів. Проведіть дослідження з іншими сайтами, та поповнюйте бібліотеку шаблонів викачувача. Парсінг це безкінечна бородьба двох сил де кожна із сторін лише тимчасово може назвати себе переможцем.
Ось оце правильне мислення. Ось в такому напрямку при розробці кожної нової функції, я і рухаюсь, якраз зараз це і робимо. Це і є універсальність. Колись і штучний інтелект це було щось не реально! А зараз це нічого, дивовижного. Куди його тільки не впихують відомі світові компанії. Жаль, що не всі це розуміють!
Усе вірно. Але ж шаблони - це теж потрібно збирати щоб хоча б якийсь підійш для сайту. А це теж не є та універсальність, про яку говоримо ) )) щоб раз , одним реквест з тими ж параметрами і для всіх сайтів - ось це універсальність.
А якщо вже є шаблони - то це уже інша річ.
Уже все зробили. І шаблон не супер якийсь особливий. У разі помилок підключаємо спеціальну бібліотеку. Вона відкриває такі силки які мають такі помилки, і картинки на автоматі качаються. А також спец код прописаний. В браузер кожен раз за заголовками та іншою інфою не бігаю. Короче питання закрите.
Set up automatic daily updates of product availability on our website on prom.ua. We have a supplier who sends a price list of products in Excel format to our email every day. The items on our website and in the supplier's price list are the same. The values in the "stock" column are either out of stock, a number, or more than a box - these need to be updated on the site to either Ready for shipment or Out of stock. Items that are not in the supplier's price list should remain unchanged. Please propose a solution, timeline, and budget. Thank you in advance for your response, I look forward to collaborating with a specialist.
Hello! I am looking for a performer for ongoing collaboration who is knowledgeable about Opencart. A person who is available and has a positive attitude) Parsing, uploading products in two languages UA + ru, as well as forming the necessary markup immediately I want to complete the work in several stages. 1. Update stock for all suppliers and completely remove outdated products from the site and database. 2. Refinement of the product category, specifically parsing subcategories. 3. Parse new items in old categories. 4. Parse new suppliers into new categories.
A project needs to be implemented for collecting and structuring a large array of images from open web sources (initially 2000 images). The task includes: - automated image collection; - uploading files in the highest available quality; - classifying images by categories. Expected results: - a structured image database; - a clear cataloging system; - delivery of the results via Google Drive or another agreed method;
Good day! Two tasks need to be completed: 1. Develop a product parser from an external website (10–40 thousand items, marketplace) with structured data saved in MySQL for subsequent output in WordPress. 2. Install and configure n8n on VPS, as well as organize AI content processing: prompt setup, text rewriting, image processing, SEO optimization, and text checking for AI detection. You can estimate the cost of completing both the entire project and each task separately. .
Task: one dashboard with all business metrics — advertising, funnel, payments, manager performance, revenue planning. Data is pulled automatically via API. Scope: only the YCL direction (employment in Europe). Kommo has other directions — only YCL funnel deals will be included in the repository (filter by funnel/tag to be agreed upon).1. Data Sources (Integrations) Kommo CRM — leads, deals, funnel stages, responsible persons, sources, dates of transitions between stages (must keep history), reasons for refusals, custom deal fields (see point 2). Stripe — payments, amounts, statuses (success/failure/refund), linked to deals. Meta Ads — expenses, impressions, clicks, CPL, leads by campaigns (currently operational). Google Ads, Reddit Ads, LinkedIn Ads — planned; architecture — extensible connectors without core rework. SEO/organic— Google Search Console + GA4. Cross-link: traffic source → lead in Kommo → payment in Stripe (UTM, deal ID in Stripe metadata — propose the mechanism). 2. Mandatory Cuts (Deal Fields in Kommo) Each metric must be filtered/grouped by: Client Citizenship (Kenya, Nigeria, India, etc.). Residence Status: lives in their country / expat (already in Europe). These are two different segments with different cycles, conversion rates, and checks. Country of Placement / Service: Poland, Serbia, Slovakia, Germany (ZAV). Manager, team, traffic channel, period. If any fields are missing in Kommo — the executor indicates which fields need to be added, the client adds them.3. Funnel and Leading Indicators Data by funnel, for each stage — summary and leading metrics: Traffic → lead: leads, CPL by channels + day-to-day expense/click dynamics. Lead → qualification: conversion + first response speed, touches/calls to the manager per day, unanswered leads. Qualification → contract/invoice: conversion + sent offers, stalled deals (days in stage above norm). Invoice → payment: payments, average check + unpaid invoices, failed payments. Summary: revenue, ROMI by channels, run rate to monthly plan. 4. Deal Cycle Average and median lead → payment cycle (business benchmark ~4 weeks), cycle trend over time. Breakdown of cycle by stages (how many days a deal sits at each stage) — to see which stage is dragging. List of deals that have stalled at a stage longer than normal. Cycle breakdown by segments: citizenship, residence status, country of placement, manager. 5. Early Warning of Decline (Key Block) Since the cycle is ~4 weeks, today's leads = payments in a month. The system must: Compare leads/qualifications of the current week with the moving average (4 weeks) and issue an alert if there is a downward deviation: “leads -X%, with a 4-week cycle expect a payment decline in the week [date].” Build payment forecast for 4 weeks ahead from the current pipeline: deals at each stage × historical conversion of the stage × remaining cycle. Highlight in red weeks where the forecast is below plan — with time to react. 6. Additional Payments and Sales Planning In the Kommo deal card, the date and amount of the planned additional payment are stored. The system must: Collect a calendar of upcoming additional payments: total expected, by weeks/months. Highlight overdue additional payments (date passed, no payments in Stripe) — a separate list for follow-up. Calculate the monthly plan as: plan − already paid − scheduled additional payments = how many new sales are needed (in money and in deal units at average check). Weekly schedule: additional payments + forecast of new payments against the weekly plan. 7. Manager Performance Daily snapshot for each manager: touches/calls, conversations, sent offers, payments — for each day separately, with a chart over the period. Progress on personal plan compared to monthly pace (ahead / on pace / behind). Benchmarking with colleagues. 8. Visualization and Roles “Traffic lights” (green/yellow/red) for key metrics relative to norms/plans; progress scales; trend graphs; mobile adaptive. Roles: CEO — everything; COO — entire funnel and managers; team lead — their team; manager — their metrics and position relative to colleagues. 9. Reports and AI Automated reports on schedule (daily summary, weekly report) in the dashboard and/or messenger. Free-form queries (“how has CPL from Meta changed over 2 weeks?”) — LLM over the repository. Alerts in the red zone and according to the rules from points 5–6. 10. Technical Expectations and Staging Repository (PostgreSQL/BigQuery or equivalent) + ETL: Kommo webhooks + periodic synchronization (15–60 min). Frontend: custom or BI tool — propose with justification; requirements for roles, traffic lights, forecasts, and AI queries must be implementable. Stages: (1) audit and metrics map → (2) MVP: Kommo + Stripe + Meta, funnel, traffic lights, roles → (3) deal cycle, early warning, additional payments and plan → (4) SEO, AI reports, alerts → (5) new advertising channels. Payment is staged, with a demo for each stage. In the response, indicate: similar projects (end-to-end analytics), stack with justification, timeline and cost estimates by stages, monthly ownership cost (hosting, tokens, licenses).