Потрібен парсер інтернет-магазину https://www.lcsc.com/

Вітаю!

Задача зрозуміла: потрібно регулярно збирати з LCSC всі товари “In Stock” по всіх розділах каталогу і вивантажувати їх у XLSX у чітко заданому форматі.

Що можу закрити:
— стабільний парсер під великий обсяг даних (~650 000 товарів) з проходом по всіх категоріях;
— вивантаження в Excel з потрібними колонками: розділ, MPN, Manufacturer, Availability, Description, Package, Pricing;
— запуск по кнопці або за розкладом + можливість подальшого доопрацювання, якщо структура каталогу зміниться.

… Працюю з Python, великими парсингами, Excel-експортом і підтримкою таких скриптів, тому можу зробити не разовий збір, а робочий інструмент для регулярного використання.

Доброго дня!

Ознайомився з вашим ТЗ та прикріпленим прикладом файлу. Завдання зрозуміле: потрібен регулярний дамп каталогу LCSC.com (тільки товари "In Stock", близько 650к позицій) з правильною розбивкою оптової цінової сітки (Кількість/Ціна до 4 рівнів) у форматі XLSX.

Я Python-розробник і спеціалізуюсь на створенні високонавантажених парсерів та роботі з Data-pipeline.

Багато розробників пропонують парсити такі сайти через емуляцію браузера (Selenium), але на обсязі в 650 000 товарів це буде працювати добу.

Як я реалізую цей парсер (Архітектура рішення):
…
Робота безпосередньо з Backend API: LCSC.com динамічно підвантажує товари через приховані JSON API ендпоінти. Я напишу скрипт, який буде звертатися безпосередньо до цих API. Це прискорить збір даних у 100 разів.

Обхід ліміту в 5000 товарів: Платформа не дозволяє пролистати більше 50-100 сторінок пагінації за раз. Щоб витягнути всі 650к, я напишу алгоритм глибокого обходу (Deep Crawl), який буде рекурсивно провалюватися в підкатегорії та застосовувати мікро-фільтри, щоб у кожній вибірці було менше 5000 товарів.

Швидкість і стабільність: Я зберу скрипт на асинхронному руслі (Aiohttp/Asyncio). Прикрутимо ротацію проксі (проксі включимо в бюджет) і систему retry. Якщо LCSC тимчасово заблокує IP, парсер просто змінить проксі, почекає кілька секунд і продовжить роботу з місця обриву.

Формування XLSX: Динамічний парсинг цінової сітки (Pricing tiers) і запис у потрібний вам формат (8 стовпців для цін) через бібліотеку pandas. Файл не буде важити гігабайти і легко відкриється в Excel.

Скрипт буде забезпечений конфігом і детальним логгером (щоб ви бачили, який відсоток каталогу вже зібрано). При зміні структури сайту (якщо вони оновлять API), код легко масштабується і виправляється, оскільки я пишу в строгому ООП-стилі.

Готовий стартувати відразу. Напишіть у особисті повідомлення, і я покажу, як саме ми будемо витягувати матрицю цін!

Показати оригінал

Перекласти

Добрий день. Можу реалізувати такий парсер, а також його щомісячне обговорення (мануальне або автоматичне). Однак варто обговорити деталі. Давайте поспілкуємось в лс?

Показати оригінал

Перекласти

Привіт!

У мене великий досвід розробки рішень для парсингу та обробки даних (різні джерела, захист від блокувань, автоматизація). Готовий реалізувати поставлене завдання в найкоротші терміни.

Пропоную обговорити деталі в особистих повідомленнях.

Показати оригінал

Перекласти

Вітаю! Готовий до співпраці. Маю досвід створення парсерів. Пропоную якісну та швидку роботу.
Пишіть)

МОжу допогти з виконанням, в них також є api що полегшує роботу

Доброго дня. Завдання зрозумів: потрібен скрипт, який при запуску обходить весь каталог lcsc.com по всіх розділах, бере тільки товари In Stock, близько 650 тисяч позицій, і експортує їх у XLSX з колонками розділ, MPN, виробник, наявність, опис, корпус і цінові пари кількість і ціна по чотирьох рівнях. Запускається раз на місяць або вручну, плюс можливість редагування під зміни структури каталогу.

Щодо реалізації: у lcsc є внутрішній JSON-API, який віддає каталог по сторінках, тому в першу чергу дивився б у бік роботи безпосередньо з цими запитами, а не парсингу HTML. Це і швидше, і стабільніше на обсязі в півмільйона позицій, і легше виправляти при змінах. Якщо частина даних закрита або захищена, додаю Selenium тільки на проблемні ділянки.

На обсязі 650 тисяч важлива стійкість, тому заклав би відновлення з місця обриву, контроль дублів по MPN, акуратні паузи і ретраї під антибот, при необхідності проксі, плюс прогрес у лог, щоб прогін можна було перезапускати без втрати зібраного. Експорт у XLSX через pandas або openpyxl з точною структурою колонок, що в ТЗ, включаючи чотири пари кількість і ціна.

Парсери на Python з Selenium, BeautifulSoup і pandas роблю давно. Щоб оцінити точніше: цінові рівні потрібні саме ті, що показані для роздрібної кількості, чи важливі всі ступені опту зі сторінки товару? Від цього залежить, скільки запитів на позицію. Готовий почати з розбору структури їх API на кількох розділах, щоб зафіксувати формат експорту і термін.

Показати оригінал

Перекласти

Доброго дня. Готовий виконати цей проект, маю великий досвід розробки різних додатків.

Показати оригінал

Перекласти

готовий виконати ваше завдання, пишіть для обговорення деталей..........................

Показати оригінал

Перекласти

Добрий день.

Подивився приклад файлу — структура зрозуміла, завдання чітке.

Пропоную Python-скрипт з двома режимами роботи:

1. Через LCSC API — якщо є доступ:
— Пакетні запити по 100–200 товарів за раз
— 650 000 товарів — близько 1–2 годин
…
2. Через Playwright (браузерний парсинг) — якщо API недоступний:
— Поштучно, обхід anti-bot захисту
— 650 000 товарів — 8–12 годин, рекомендую запуск на VPS

Що увійде в обох випадках:
— Обхід усіх розділів, фільтр «In Stock»
— Вивантаження 14 стовпців у форматі вашого прикладу
— Збереження прогресу (checkpoint) — при обриві скрипт продовжує з місця зупинки
— Документація та можливість правки при зміні структури сайту

Вартість: 8 000 – 12 000 грн. Термін: 5–7 днів.

Уточніть: чи є у вас доступ до LCSC API?

Показати оригінал

Перекласти

Доброго дня.
У мене великий досвід у парсингу, зокрема товарів з інтернет-магазинів, а не xml вивантажень.
Також парсив для себе авто- мото- запчастини та одяг з кількох джерел - де величезна кількість товарів.
Навіть мав досвід у парсингу бази даних СНД-сайтів.
Взагалі досвіду достатньо для виконання Вашого завдання якісно та в найкоротші терміни.
Завдання зрозуміле, можу приступити прямо зараз.

Показати оригінал

Перекласти

Доброго дня, щацікавив вашйи проект, давайте обговоримо деталі в чаті

Доброго вечора, готовий виконати ваше замовлення і буду радий подальшій співпраці. Пишіть сюди в лс, скину вам приклади своїх робіт. Ще можу скинути ссилку на портфоліо)

Доброго дня.

Розробляю парсери на NodeJS. Готов взятися. Пишіть, обговоримо.

Показати оригінал

Перекласти

Пишу парсери на Пітоні для різних, звертайтеся, все зробимо.

Показати оригінал

Перекласти

Готовий взятися.
Треба уточнити деталі замовлення, пишіть!
Використовую python, uv, github, docker.

Вже зробив скрипт на Python. Там мільйони товарів. Доведеться розбивати на файли. І робити паузи між запитами на сайт, бо заблокують. Можу показати готовий файл на 800 товарів. Звертайтеся для уточнення кінцевого результату.

Добрий день, веб-програмуванню вже більше 9 років
Працюю з rest api, фреймворками та cms такими як django, laravel, yii2, wp, opencart, codeigniter тощо. Готовий виконати завдання.
Відгуки: Freelancehunt

Показати оригінал

Перекласти

Доброго дня, готовий взятися за проект, досвід є, чекаю на відповідь.

Показати оригінал

Перекласти

Доброго дня!
Спеціалізуюсь на розробці парсерів та автоматизації. Готовий реалізувати парсер LCSC.com на Python для регулярного збору актуальних "In Stock" товарів у XLSX, з можливістю подальшої підтримки. Маю досвід роботи з веб-скрейпінгом та великими об'ємами даних.

Напишіть в лс, уточнимо деталі.

Вітаю!

Ознайомився з вашим завданням та переглянув прикріплений приклад CSV-файлу. Завдання повністю зрозуміле — потрібно написати парсер для сайту lcsc.com, який збере необхідні дані по компонентах і точно відтворить потрібну вам структуру таблиці.

Як я це реалізую:
Напишу надійний скрипт на Python. Якщо сайт використовує динамічне підвантаження або захист, використаю інструменти для імітації реального браузера, щоб уникнути блокувань. Скрипт автоматично проходитиме по категоріях/посиланнях, збиратиме артикули, ціни та інші характеристики, після чого формуватиме готовий файл (CSV/Excel) рівно за вашим шаблоном.

Код буде чистим і задокументованим, щоб ви могли запускати його самостійно в майбутньому. За потреби можу запакувати все в Docker.

… Уточнювальне запитання:
Парсинг потрібен одноразово (просто зібрати базу на зараз), чи цей скрипт має запускатися регулярно для оновлення залишків та цін?

Доброго дня. З сайтом ознайомився. Можу наисати парсер який буде потрібні вам дані в табицю Ексель.

Добрий день. Можу написати консольну програму для парсингу цих товарів на python. Вкладений файл чомусь не відкривається - можете повторно надіслати в лс?

Показати оригінал

Перекласти

Вітаю.Є великий досвід в розробці парсерів.Готовий до співпраці.

Напишу парсер, розміщую на своїх ресурсах з подальшою підтримкою. Для збору такого кількості потрібні проксі, включаються в підтримку. Також сайт віддає не більше 5000 товарів за раз, потрібна розбивка по фільтрам. Пишіть, обговоримо деталі.

Показати оригінал

Перекласти

Вітаю!
Напишу скрипт під ваші потреби, котрий буде проходить по сторінкам пагінації усіх розділів і отримувати інформацію про наявність та ціни на товари

Привіт, я Python-розробник, маю досвід у розробці парсерів різної складності. Можу виконати ваш проект швидко та якісно. Пишіть - обговоримо деталі. Приступити до роботи готовий вже сьогодні.

Показати оригінал

Перекласти

Добрий день, можу зробити програму і віддати Вам, або можу збирати дані за Вашим запитом. Пишіть, обговоримо.

Показати оригінал

Перекласти

Привіт! Я уважно вивчив ваш проект і готовий розпочати його реалізацію. Давайте обговоримо деталі для найкращого виконання.

Показати оригінал

Перекласти