Потрібен парсер інтернет-магазину https://www.lcsc.com/

Привіт!

Подивився сайт і задачу — все зрозуміло.

Ключовий момент, який важливий на такому обсязі (650k товарів):
LCSC віддає не більше 5000 товарів за запит через
внутрішній JSON API. Тому буду використовувати
рекурсивний обхід підкатегорій з мікрофільтрами —
щоб кожна вибірка була меншою за ліміт.
…
Що реалізую:
— Python скрипт з прямими запитами до JSON API LCSC
(швидше і стабільніше ніж парсинг HTML)
— Фільтр тільки "In Stock" товарів
— Збереження прогресу (checkpoint) — при обриві
скрипт продовжує з місця зупинки, не з нуля
— Логування прогресу — видно скільки % зібрано
— Вивантаження в XLSX точно по в

Показати оригінал

Перекласти

Доброго дня.

Завдання зрозуміле: потрібен не разовий парсинг, а стабільний скрипт, який можна запускати регулярно і отримувати актуальний XLSX по товарам LCSC тільки зі статусом In Stock.

Я подивився приклад файлу: структура зрозуміла - розділ, MPN, Виробник, Наявність, Опис, Упаковка та 4 пари Кількість/Ціна. Зроблю вивантаження в такому ж форматі, щоб файл можна було відразу використовувати далі.

На такому обсязі важливо не парсити HTML “в лоб”, а спочатку перевірити внутрішні API-запити LCSC. Це швидше, стабільніше і простіше підтримувати при змінах сайту. Також заклав би збереження прогресу, повтори при помилках, логування і можливість перезапуску без втрати вже зібраних даних.

Мій стек: JavaScript/TypeScript, REST API, робота з даними та автоматизація. Можу зробити скрипт з ручним запуском, а при необхідності - підготувати варіант для щомісячного запуску.
…
Питання: вам потрібен тільки підсумковий XLSX після кожного запуску, чи також потрібен проміжний кеш/база, щоб при наступному запуску оновлювати дані швидше?

Показати оригінал

Перекласти

Доброго дня! Писав парсери каталогів електроніки під ключ — з пагінацією, фільтром «In Stock» і вивантаженням цінових тіерів у XLSX, тож формат із вашими 8 стовпцями по кількості/ціні зроблю один-в-один. На такому обсязі (650к позицій) збиратиму через їхній внутрішній API — це швидше й стабільніше за HTML, і скрипт лишиться перезапускним щомісяця. Орієнтовно 4-5 днів. Підкажіть, потрібні зараз лише наявні товари чи весь каталог із позначкою наявності?

Вітаю! Бачу, що бюджет проєкту дозволяє підійти до задачі серйозно. 650 000 товарів — це навантаження, яке вимагає побудови справжнього Data Pipeline, а не простого скрипта-парсера.
Моє рішення — це створення надійної системи збору даних, яка гарантовано допрацює до кінця, навіть якщо інтернет зникне або сайт тимчасово заблокує IP.

Чому моє рішення — це інвестиція, а не просто код:

1. Архітектура "Resumable Download": Найбільша проблема при зборі 650к записів — це переривання роботи. Мій софт зберігає стан черги в SQLite. Якщо скрипт впаде на 300-й тисячі, ви запустите його знову, і він продовжить з 300 001-го товару, а не почне з нуля.
2. Професійна робота з даними (Stream processing): Скрипт не перевантажує оперативну пам'ять (RAM). Він зчитує та записує дані потоково (streaming), тому навіть файл на сотні мегабайтів генерується на будь-якому VPS.
3. API-First підхід: Я не буду імітувати натискання кнопок. Скрипт працює безпосередньо з внутрішнім JSON API сайту. Це забезпечує максимальну швидкість (мілісекунди на запит) та довговічність (скрипт не "помре" при зміні дизайну сайту).
4. Масштабованість під доопрацювання: Код написаний на основі чистих PHP-класів (SOLID). Якщо структура даних на LCSC зміниться або вам знадобиться додати новий стовпець — це робиться зміною 3-4 рядків у конфігурації.
… 5. Захист від банів: Вбудована логіка ротації проксі, імітація "людських" пауз та обробка HTTP-помилок (429, 503), щоб обійти антифрод-системи LCSC.

• Технології: Pure PHP 8.x (CLI), Guzzle (Async), SQLite (state management), FastExcel.
• Вартість: 16 000 грн (повна розробка, налаштування логіки проксі та інструкція для запуску).
• Термін: 6 днів (з урахуванням часу на стрес-тести).

Я пропоную інженерну якість, яка позбавить вас необхідності наймати когось для підтримки цього скрипта в майбутньому. Готовий розпочати роботу!

Вітаю!

Задача зрозуміла: потрібно регулярно збирати з LCSC всі товари “In Stock” по всіх розділах каталогу і вивантажувати їх у XLSX у чітко заданому форматі.

Що можу закрити:
— стабільний парсер під великий обсяг даних (~650 000 товарів) з проходом по всіх категоріях;
— вивантаження в Excel з потрібними колонками: розділ, MPN, Manufacturer, Availability, Description, Package, Pricing;
— запуск по кнопці або за розкладом + можливість подальшого доопрацювання, якщо структура каталогу зміниться.

… Працюю з Python, великими парсингами, Excel-експортом і підтримкою таких скриптів, тому можу зробити не разовий збір, а робочий інструмент для регулярного використання.

Доброго дня!

Ознайомився з вашим ТЗ та прикріпленим прикладом файлу. Завдання зрозуміле: потрібен регулярний дамп каталогу LCSC.com (тільки товари "In Stock", близько 650к позицій) з правильною розбивкою оптової цінової сітки (Кількість/Ціна до 4 рівнів) у форматі XLSX.

Я Python-розробник і спеціалізуюсь на створенні високонавантажених парсерів та роботі з Data-pipeline.

Багато розробників пропонують парсити такі сайти через емуляцію браузера (Selenium), але на обсязі в 650 000 товарів це буде працювати добу.

Як я реалізую цей парсер (Архітектура рішення):
…
Робота безпосередньо з Backend API: LCSC.com динамічно підвантажує товари через приховані JSON API ендпоінти. Я напишу скрипт, який буде звертатися безпосередньо до цих API. Це прискорить збір даних у 100 разів.

Обхід ліміту в 5000 товарів: Платформа не дозволяє пролистати більше 50-100 сторінок пагінації за раз. Щоб витягнути всі 650к, я напишу алгоритм глибокого обходу (Deep Crawl), який буде рекурсивно провалюватися в підкатегорії та застосовувати мікро-фільтри, щоб у кожній вибірці було менше 5000 товарів.

Швидкість і стабільність: Я зберу скрипт на асинхронному руслі (Aiohttp/Asyncio). Прикрутимо ротацію проксі (проксі включимо в бюджет) і систему retry. Якщо LCSC тимчасово заблокує IP, парсер просто змінить проксі, почекає кілька секунд і продовжить роботу з місця обриву.

Формування XLSX: Динамічний парсинг цінової сітки (Pricing tiers) і запис у потрібний вам формат (8 стовпців для цін) через бібліотеку pandas. Файл не буде важити гігабайти і легко відкриється в Excel.

Скрипт буде забезпечений конфігом і детальним логгером (щоб ви бачили, який відсоток каталогу вже зібрано). При зміні структури сайту (якщо вони оновлять API), код легко масштабується і виправляється, оскільки я пишу в строгому ООП-стилі.

Готовий стартувати відразу. Напишіть у особисті повідомлення, і я покажу, як саме ми будемо витягувати матрицю цін!

Показати оригінал

Перекласти

Добрий день. Можу реалізувати такий парсер, а також його щомісячне обговорення (мануальне або автоматичне). Однак варто обговорити деталі. Давайте поспілкуємось в лс?

Показати оригінал

Перекласти

Привіт!

У мене великий досвід розробки рішень для парсингу та обробки даних (різні джерела, захист від блокувань, автоматизація). Готовий реалізувати поставлене завдання в найкоротші терміни.

Пропоную обговорити деталі в особистих повідомленнях.

Показати оригінал

Перекласти

Вітаю! Готовий до співпраці. Маю досвід створення парсерів. Пропоную якісну та швидку роботу.
Пишіть)

МОжу допогти з виконанням, в них також є api що полегшує роботу

Доброго дня. Завдання зрозумів: потрібен скрипт, який при запуску обходить весь каталог lcsc.com по всіх розділах, бере тільки товари In Stock, близько 650 тисяч позицій, і експортує їх у XLSX з колонками розділ, MPN, виробник, наявність, опис, корпус і цінові пари кількість і ціна по чотирьох рівнях. Запускається раз на місяць або вручну, плюс можливість редагування під зміни структури каталогу.

Щодо реалізації: у lcsc є внутрішній JSON-API, який віддає каталог по сторінках, тому в першу чергу дивився б у бік роботи безпосередньо з цими запитами, а не парсингу HTML. Це і швидше, і стабільніше на обсязі в півмільйона позицій, і легше виправляти при змінах. Якщо частина даних закрита або захищена, додаю Selenium тільки на проблемні ділянки.

На обсязі 650 тисяч важлива стійкість, тому заклав би відновлення з місця обриву, контроль дублів по MPN, акуратні паузи і ретраї під антибот, при необхідності проксі, плюс прогрес у лог, щоб прогін можна було перезапускати без втрати зібраного. Експорт у XLSX через pandas або openpyxl з точною структурою колонок, що в ТЗ, включаючи чотири пари кількість і ціна.

Парсери на Python з Selenium, BeautifulSoup і pandas роблю давно. Щоб оцінити точніше: цінові рівні потрібні саме ті, що показані для роздрібної кількості, чи важливі всі ступені опту зі сторінки товару? Від цього залежить, скільки запитів на позицію. Готовий почати з розбору структури їх API на кількох розділах, щоб зафіксувати формат експорту і термін.

Показати оригінал

Перекласти

Доброго дня. Готовий виконати цей проект, маю великий досвід розробки різних додатків.

Показати оригінал

Перекласти

готовий виконати ваше завдання, пишіть для обговорення деталей..........................

Показати оригінал

Перекласти

Добрий день.

Подивився приклад файлу — структура зрозуміла, завдання чітке.

Пропоную Python-скрипт з двома режимами роботи:

1. Через LCSC API — якщо є доступ:
— Пакетні запити по 100–200 товарів за раз
— 650 000 товарів — близько 1–2 годин
…
2. Через Playwright (браузерний парсинг) — якщо API недоступний:
— Поштучно, обхід anti-bot захисту
— 650 000 товарів — 8–12 годин, рекомендую запуск на VPS

Що увійде в обох випадках:
— Обхід усіх розділів, фільтр «In Stock»
— Вивантаження 14 стовпців у форматі вашого прикладу
— Збереження прогресу (checkpoint) — при обриві скрипт продовжує з місця зупинки
— Документація та можливість правки при зміні структури сайту

Вартість: 8 000 – 12 000 грн. Термін: 5–7 днів.

Уточніть: чи є у вас доступ до LCSC API?

Показати оригінал

Перекласти

Доброго дня.
У мене великий досвід у парсингу, зокрема товарів з інтернет-магазинів, а не xml вивантажень.
Також парсив для себе авто- мото- запчастини та одяг з кількох джерел - де величезна кількість товарів.
Навіть мав досвід у парсингу бази даних СНД-сайтів.
Взагалі досвіду достатньо для виконання Вашого завдання якісно та в найкоротші терміни.
Завдання зрозуміле, можу приступити прямо зараз.

Показати оригінал

Перекласти

Доброго дня, щацікавив вашйи проект, давайте обговоримо деталі в чаті

Доброго вечора, готовий виконати ваше замовлення і буду радий подальшій співпраці. Пишіть сюди в лс, скину вам приклади своїх робіт. Ще можу скинути ссилку на портфоліо)

Доброго дня.

Розробляю парсери на NodeJS. Готов взятися. Пишіть, обговоримо.

Показати оригінал

Перекласти

Пишу парсери на Пітоні для різних, звертайтеся, все зробимо.

Показати оригінал

Перекласти

Готовий взятися.
Треба уточнити деталі замовлення, пишіть!
Використовую python, uv, github, docker.

Вже зробив скрипт на Python. Там мільйони товарів. Доведеться розбивати на файли. І робити паузи між запитами на сайт, бо заблокують. Можу показати готовий файл на 800 товарів. Звертайтеся для уточнення кінцевого результату.

Добрий день, веб-програмуванню вже більше 9 років
Працюю з rest api, фреймворками та cms такими як django, laravel, yii2, wp, opencart, codeigniter тощо. Готовий виконати завдання.
Відгуки: Freelancehunt

Показати оригінал

Перекласти

Доброго дня, готовий взятися за проект, досвід є, чекаю на відповідь.

Показати оригінал

Перекласти

Доброго дня!
Спеціалізуюсь на розробці парсерів та автоматизації. Готовий реалізувати парсер LCSC.com на Python для регулярного збору актуальних "In Stock" товарів у XLSX, з можливістю подальшої підтримки. Маю досвід роботи з веб-скрейпінгом та великими об'ємами даних.

Напишіть в лс, уточнимо деталі.

Вітаю!

Ознайомився з вашим завданням та переглянув прикріплений приклад CSV-файлу. Завдання повністю зрозуміле — потрібно написати парсер для сайту lcsc.com, який збере необхідні дані по компонентах і точно відтворить потрібну вам структуру таблиці.

Як я це реалізую:
Напишу надійний скрипт на Python. Якщо сайт використовує динамічне підвантаження або захист, використаю інструменти для імітації реального браузера, щоб уникнути блокувань. Скрипт автоматично проходитиме по категоріях/посиланнях, збиратиме артикули, ціни та інші характеристики, після чого формуватиме готовий файл (CSV/Excel) рівно за вашим шаблоном.

Код буде чистим і задокументованим, щоб ви могли запускати його самостійно в майбутньому. За потреби можу запакувати все в Docker.

… Уточнювальне запитання:
Парсинг потрібен одноразово (просто зібрати базу на зараз), чи цей скрипт має запускатися регулярно для оновлення залишків та цін?

Доброго дня. З сайтом ознайомився. Можу наисати парсер який буде потрібні вам дані в табицю Ексель.

Добрий день. Можу написати консольну програму для парсингу цих товарів на python. Вкладений файл чомусь не відкривається - можете повторно надіслати в лс?

Показати оригінал

Перекласти

Вітаю.Є великий досвід в розробці парсерів.Готовий до співпраці.

Напишу парсер, розміщую на своїх ресурсах з подальшою підтримкою. Для збору такого кількості потрібні проксі, включаються в підтримку. Також сайт віддає не більше 5000 товарів за раз, потрібна розбивка по фільтрам. Пишіть, обговоримо деталі.

Показати оригінал

Перекласти

Вітаю!
Напишу скрипт під ваші потреби, котрий буде проходить по сторінкам пагінації усіх розділів і отримувати інформацію про наявність та ціни на товари

Привіт, я Python-розробник, маю досвід у розробці парсерів різної складності. Можу виконати ваш проект швидко та якісно. Пишіть - обговоримо деталі. Приступити до роботи готовий вже сьогодні.

Показати оригінал

Перекласти

Добрий день, можу зробити програму і віддати Вам, або можу збирати дані за Вашим запитом. Пишіть, обговоримо.

Показати оригінал

Перекласти

Привіт! Я уважно вивчив ваш проект і готовий розпочати його реалізацію. Давайте обговоримо деталі для найкращого виконання.

Показати оригінал

Перекласти