Нужен парсер интернет-магазина https://www.lcsc.com/

Здравствуйте!

Посмотрел сайт и задачу — всё понятно.

Ключевой момент который важен на таком объёме (650k товаров):
LCSC отдаёт не более 5000 товаров за запрос через
внутренний JSON API. Поэтому буду использовать
рекурсивный обход подкатегорий с микрофильтрами —
чтобы каждая выборка была меньше лимита.
…
Что реализую:
— Python скрипт с прямыми запросами к JSON API LCSC
(быстрее и стабильнее чем парсинг HTML)
— Фильтр только "In Stock" товаров
— Сохранение прогресса (checkpoint) — при обрыве
скрипт продолжает с места остановки, не с нуля
— Логирование прогресса — видно сколько % собрано
— Выгрузка в XLSX точно по в

Здравствуйте.

Задача понятна: нужен не разовый парсинг, а стабильный скрипт, который можно запускать регулярно и получать актуальный XLSX по товарам LCSC только со статусом In Stock.

Я посмотрел пример файла: структура понятная - раздел, MPN, Manufacturer, Availability, Description, Package и 4 пары Quantity/Price. Сделаю выгрузку в таком же формате, чтобы файл можно было сразу использовать дальше.

На таком объёме важно не парсить HTML “в лоб”, а сначала проверить внутренние API-запросы LCSC. Это быстрее, стабильнее и проще поддерживать при изменениях сайта. Также заложил бы сохранение прогресса, повторы при ошибках, логирование и возможность перезапуска без потери уже собранных данных.

Мой стек: JavaScript/TypeScript, REST API, работа с данными и автоматизация. Могу сделать скрипт с ручным запуском, а при необходимости - подготовить вариант для ежемесячного запуска.
…
Вопрос: вам нужен только итоговый XLSX после каждого запуска, или также нужен промежуточный кеш/база, чтобы при следующем запуске обновлять данные быстрее?

Добрый день! Писал парсеры каталогов электроники под ключ — с пагинацией, фильтром «В наличии» и выгрузкой ценовых уровней в XLSX, так что формат с вашими 8 столбцами по количеству/цене сделаю один-в-один. На таком объеме (650к позиций) буду собирать через их внутренний API — это быстрее и стабильнее, чем HTML, и скрипт останется перезапускаемым каждый месяц. Ориентировочно 4-5 дней. Подскажите, нужны сейчас только имеющиеся товары или весь каталог с пометкой наличия?

Показать оригинал

Перевести

Здравствуйте! Вижу, что бюджет проекта позволяет подойти к задаче серьезно. 650 000 товаров — это нагрузка, которая требует построения настоящего Data Pipeline, а не простого скрипта-парсера.
Мое решение — это создание надежной системы сбора данных, которая гарантированно доработает до конца, даже если интернет исчезнет или сайт временно заблокирует IP.

Почему мое решение — это инвестиция, а не просто код:

1. Архитектура "Resumable Download": Наибольшая проблема при сборе 650к записей — это прерывание работы. Мой софт сохраняет состояние очереди в SQLite. Если скрипт упадет на 300-й тысяче, вы запустите его снова, и он продолжит с 300 001-го товара, а не начнет с нуля.
2. Профессиональная работа с данными (Stream processing): Скрипт не перегружает оперативную память (RAM). Он считывает и записывает данные потоково (streaming), поэтому даже файл на сотни мегабайт генерируется на любом VPS.
3. API-First подход: Я не буду имитировать нажатия кнопок. Скрипт работает непосредственно с внутренним JSON API сайта. Это обеспечивает максимальную скорость (миллисекунды на запрос) и долговечность (скрипт не "умрет" при изменении дизайна сайта).
4. Масштабируемость под доработку: Код написан на основе чистых PHP-классов (SOLID). Если структура данных на LCSC изменится или вам понадобится добавить новый столбец — это делается изменением 3-4 строк в конфигурации.
… 5. Защита от банов: Встроенная логика ротации прокси, имитация "человеческих" пауз и обработка HTTP-ошибок (429, 503), чтобы обойти антифрод-системы LCSC.

• Технологии: Pure PHP 8.x (CLI), Guzzle (Async), SQLite (state management), FastExcel.
• Стоимость: 16 000 грн (полная разработка, настройка логики прокси и инструкция для запуска).
• Срок: 6 дней (с учетом времени на стресс-тесты).

Я предлагаю инженерное качество, которое избавит вас от необходимости нанимать кого-то для поддержки этого скрипта в будущем. Готов начать работу!

Показать оригинал

Перевести

Здравствуйте!

Задача понятна: нужно регулярно собирать с LCSC все товары "In Stock" по всем разделам каталога и выгружать их в XLSX в четко заданном формате.

Что могу закрыть:
— стабильный парсер под большой объем данных (~650 000 товаров) с проходом по всем категориям;
— выгрузка в Excel с нужными колонками: раздел, MPN, Производитель, Наличие, Описание, Упаковка, Цены;
— запуск по кнопке или по расписанию + возможность дальнейшей доработки, если структура каталога изменится.

… Работаю с Python, большими парсингами, Excel-экспортом и поддержкой таких скриптов, поэтому могу сделать не разовый сбор, а рабочий инструмент для регулярного использования.

Показать оригинал

Перевести

Здравствуйте!

Ознакомился с вашим ТЗ и прикрепленным примером файла. Задача ясна: нужен регулярный дамп каталога LCSC.com (только товары "In Stock", около 650к позиций) с правильной разбивкой оптовой ценовой сетки (Количество/Цена до 4 уровней) в формат XLSX.

Я Python-разработчик и специализируюсь на создании высоконагруженных парсеров и работе с Data-pipeline.

Многие разработчики предлагают парсить такие сайты через эмуляцию браузера (Selenium), но на объеме в 650 000 товаров это будет работать сутками.

Как я реализую этот парсер (Архитектура решения):
…
Работа напрямую с Backend API: LCSC.com динамически подгружает товары через скрытые JSON API эндпоинты. Я напишу скрипт, который будет обращаться напрямую к этим API. Это ускорит сбор данных в 100 раз.

Обход лимита в 5000 товаров: Платформа не дает пролистать больше 50-100 страниц пагінації за раз. Чтобы вытянуть все 650к, я напишу алгоритм глубокого обхода (Deep Crawl), который будет рекурсивно проваливаться в подкатегории и применять микро-фильтры, чтобы в каждой выборке было меньше 5000 товаров.

Скорость и стабильность: Я соберу скрипт на асинхронном движке (Aiohttp/Asyncio). Прикрутим ротацию прокси (прокси включим в бюджет) и систему retry. Если LCSC временно заблокирует IP, парсер просто сменит прокси, подождет пару секунд и продолжит работу с места обрыва.

Формирование XLSX: Динамический парсинг ценовой сетки (Pricing tiers) и запись в нужный вам формат (8 столбцов для цен) через библиотеку pandas. Файл не будет весить гигабайты и легко откроется в Excel.

Скрипт будет снабжен конфигом и подробным логгером (чтобы вы видели, какой процент каталога уже собран). При изменении структуры сайта (если они обновят API), код легко масштабируется и правится, так как я пишу в строгом ООП-стиле.

Готов стартовать сразу. Напишите в личные сообщения, и я покажу, как именно мы будем вытаскивать матрицу цен!

Добрый день. Могу реализовать такой парсер, а так же его ежемесячное обсуживаине(мануальное или автоматическое). Однако стоит обсудить детали.
Давайте пообщаемся в лс?

Здравствуйте!

У меня большой опыт разработки решений для парсинга и обработки данных (различные источники, защита от блокировок, автоматизация). Готов реализовать поставленную задачу в кратчайшие сроки.

Предлагаю обсудить детали в личных сообщениях.

Здравствуйте! Готов к сотрудничеству. Имею опыт создания парсеров. Предлагаю качественную и быструю работу. Пишите)

Показать оригинал

Перевести

Могу помочь с выполнением, у них также есть API, что облегчает работу.

Показать оригинал

Перевести

Здравствуйте. Задачу понял: нужен скрипт, который по запуску обходит весь каталог lcsc.com по всем разделам, берёт только товары In Stock, порядка 650 тысяч позиций, и выгружает их в XLSX с колонками раздел, MPN, производитель, наличие, описание, корпус и ценовые пары количество и цена по четырём уровням. Запускается раз в месяц или вручную, плюс возможность правки под изменения структуры каталога.

По реализации: у lcsc есть внутренний JSON-API, который отдаёт каталог постранично, поэтому в первую очередь смотрел бы в сторону работы напрямую с этими запросами, а не парсинга HTML. Это и быстрее, и стабильнее на объёме в полмиллиона позиций, и легче чинить при изменениях. Если часть данных закрыта или защищена, добавляю Selenium только на проблемные участки.

На объёме 650 тысяч важна устойчивость, поэтому заложил бы возобновление с места обрыва, контроль дублей по MPN, аккуратные паузы и ретраи под антибот, при необходимости прокси, плюс прогресс в лог, чтобы прогон можно было перезапускать без потери собранного. Выгрузка в XLSX через pandas или openpyxl с ровно той структурой колонок, что в ТЗ, включая четыре пары количество и цена.

Парсеры на Python с Selenium, BeautifulSoup и pandas делаю давно. Чтобы оценить точнее: ценовые уровни нужны именно те, что показаны для розничного количества, или важны все ступени опта со страницы товара? От этого зависит, сколько запросов на позицию. Готов начать с разбора структуры их API на нескольких разделах, чтобы зафиксировать формат выгрузки и срок.

Добрый день. Готов выполнить данный проект есть большой опыт разработки различных приложений.

готов выполнить ваше задание, пишите для обсуждения подробностей..........................

Добрый день.

Посмотрел пример файла — структура понятна, задача чёткая.

Предлагаю Python-скрипт с двумя режимами работы:

1. Через LCSC API — если есть доступ:
— Пакетные запросы по 100–200 товаров за раз
— 650 000 товаров — около 1–2 часов
…
2. Через Playwright (браузерный парсинг) — если API недоступен:
— Постранично, обход anti-bot защиты
— 650 000 товаров — 8–12 часов, рекомендую запуск на VPS

Что войдёт в обоих случаях:
— Обход всех разделов, фильтр «In Stock»
— Выгрузка 14 столбцов в формате вашего примера
— Сохранение прогресса (checkpoint) — при обрыве скрипт продолжает с места остановки
— Документация и возможность правки при изменении структуры сайта

Стоимость: 8 000 – 12 000 грн. Срок: 5–7 дней.

Уточните: есть ли у вас доступ к LCSC API?

Здравствуйте.
У меня большой опыт в парсинге, в том числе товаров с интернет-магазинов, а не хмл выгрузок.
Также парсил для себя и авто- мото- запчасти и одежду из нескольких источников - где огромное кол-во товаров.
Даже имел опыт в парсинге базы данных СНГ-сайтов.
Вообщем опыта достаточно для выполнения Вашей задачи качественно и в кратчайшее время.
Задача понятна могу приступить прямо сейчас.

Добрый день, заинтересовал ваш проект, давайте обсудим детали в чате

Показать оригинал

Перевести

Добрый вечер, готов выполнить ваш заказ и буду рад дальнейшему сотрудничеству. Пишите сюда в личные сообщения, скину вам примеры своих работ. Еще могу скинуть ссылку на портфолио)

Показать оригинал

Перевести

Здравствуйте.

Разрабатываю парсеры на NodeJS. Готов взяться. Пишите, обсудим.

пишу парсеры на питоне для разных, обращайтесь все сделаем.
___________________________________________________________________

Готов взяться. Требуется уточнить детали заказа, пишите! Использую python, uv, github, docker.

Показать оригинал

Перевести

Уже сделал скрипт на Python. Там миллионы товаров. Придется разбивать на файлы. И делать паузы между запросами на сайт, потому что заблокируют. Могу показать готовый файл на 800 товаров. Обращайтесь для уточнения конечного результата.

Показать оригинал

Перевести

Добрый день, веб-программировании уже более 9 лет
Работаю с rest api, фреймворками и cms такие как django, laravel, yii2, wp, opencart, codegnither и т.д. Готов выполнить задачу.
Отзывы: Freelancehunt

здравствуйте, готов взяться за проект, опыт имеется, жду отклика.

Добрый день! Специализируюсь на разработке парсеров и автоматизации. Готов реализовать парсер LCSC.com на Python для регулярного сбора актуальных "In Stock" товаров в XLSX, с возможностью дальнейшей поддержки. Имею опыт работы с веб-скрейпингом и большими объемами данных.

Напишите в личные сообщения, уточним детали.

Показать оригинал

Перевести

Здравствуйте!

Я ознакомился с вашим заданием и просмотрел прикрепленный пример CSV-файла. Задание полностью понятно — нужно написать парсер для сайта lcsc.com, который соберет необходимые данные по компонентам и точно воспроизведет нужную вам структуру таблицы.

Как я это реализую:
Напишу надежный скрипт на Python. Если сайт использует динамическую подгрузку или защиту, использую инструменты для имитации реального браузера, чтобы избежать блокировок. Скрипт автоматически пройдет по категориям/ссылкам, соберет артикулы, цены и другие характеристики, после чего сформирует готовый файл (CSV/Excel) ровно по вашему шаблону.

Код будет чистым и задокументированным, чтобы вы могли запускать его самостоятельно в будущем. При необходимости могу упаковать все в Docker.

… Уточняющий вопрос:
Парсинг нужен один раз (просто собрать базу на сейчас), или этот скрипт должен запускаться регулярно для обновления остатков и цен?

Показать оригинал

Перевести

Добрый день. С сайтом ознакомился. Могу написать парсер, который будет нужные вам данные в таблицу Excel.

Показать оригинал

Перевести

Добрый день. Могу написать консольную программу для парсинга этих товаров на python. Вложенный файл почему то не открывается - можете повторно выслать в лс?

Здравствуйте. У меня большой опыт в разработке парсеров. Готов к сотрудничеству.

Показать оригинал

Перевести

Напишу парсер, размещаю на своих ресурсах с дальнейшей поддержкой.
Для сбора такого количества нужны прокси, включаются в поддержку.
Так же сайт отдает не более 5000 товаров за раз, нужна разбивка по фильтрам.
Пишите обговорим детали.

Здравствуйте! Напишу скрипт под ваши нужды, который будет проходить по страницам пагинации всех разделов и получать информацию о наличии и ценах на товары.

Показать оригинал

Перевести

Здравствуйте, я Python - разработчик, есть опыт в разработке парсеров разной сложности. Могу выполнить ваш проект быстро и качественно. Пишите - обсудим детали. Приступить к работе готов уже сегодня

Добрый день, могу сделать программу и отдать Вам, или могу собирать данные по Вашему запросу.
Пишите, обсудим.

Здравствуйте! Я внимательно изучил ваш проект и готов приступить к его реализации. Давайте обсудим детали для наилучшего выполнения.