Нужен парсер интернет-магазина https://www.lcsc.com/

Здравствуйте!

У меня большой опыт разработки решений для парсинга и обработки данных (различные источники, защита от блокировок, автоматизация). Готов реализовать поставленную задачу в кратчайшие сроки.

Предлагаю обсудить детали в личных сообщениях.

Здравствуйте! Готов к сотрудничеству. Имею опыт создания парсеров. Предлагаю качественную и быструю работу. Пишите)

Показать оригинал

Перевести

Могу помочь с выполнением, у них также есть API, что облегчает работу.

Показать оригинал

Перевести

Здравствуйте. Задачу понял: нужен скрипт, который по запуску обходит весь каталог lcsc.com по всем разделам, берёт только товары In Stock, порядка 650 тысяч позиций, и выгружает их в XLSX с колонками раздел, MPN, производитель, наличие, описание, корпус и ценовые пары количество и цена по четырём уровням. Запускается раз в месяц или вручную, плюс возможность правки под изменения структуры каталога.

По реализации: у lcsc есть внутренний JSON-API, который отдаёт каталог постранично, поэтому в первую очередь смотрел бы в сторону работы напрямую с этими запросами, а не парсинга HTML. Это и быстрее, и стабильнее на объёме в полмиллиона позиций, и легче чинить при изменениях. Если часть данных закрыта или защищена, добавляю Selenium только на проблемные участки.

На объёме 650 тысяч важна устойчивость, поэтому заложил бы возобновление с места обрыва, контроль дублей по MPN, аккуратные паузы и ретраи под антибот, при необходимости прокси, плюс прогресс в лог, чтобы прогон можно было перезапускать без потери собранного. Выгрузка в XLSX через pandas или openpyxl с ровно той структурой колонок, что в ТЗ, включая четыре пары количество и цена.

Парсеры на Python с Selenium, BeautifulSoup и pandas делаю давно. Чтобы оценить точнее: ценовые уровни нужны именно те, что показаны для розничного количества, или важны все ступени опта со страницы товара? От этого зависит, сколько запросов на позицию. Готов начать с разбора структуры их API на нескольких разделах, чтобы зафиксировать формат выгрузки и срок.

Добрый день. Готов выполнить данный проект есть большой опыт разработки различных приложений.

готов выполнить ваше задание, пишите для обсуждения подробностей..........................

Добрый день.

Посмотрел пример файла — структура понятна, задача чёткая.

Предлагаю Python-скрипт с двумя режимами работы:

1. Через LCSC API — если есть доступ:
— Пакетные запросы по 100–200 товаров за раз
— 650 000 товаров — около 1–2 часов
…
2. Через Playwright (браузерный парсинг) — если API недоступен:
— Постранично, обход anti-bot защиты
— 650 000 товаров — 8–12 часов, рекомендую запуск на VPS

Что войдёт в обоих случаях:
— Обход всех разделов, фильтр «In Stock»
— Выгрузка 14 столбцов в формате вашего примера
— Сохранение прогресса (checkpoint) — при обрыве скрипт продолжает с места остановки
— Документация и возможность правки при изменении структуры сайта

Стоимость: 8 000 – 12 000 грн. Срок: 5–7 дней.

Уточните: есть ли у вас доступ к LCSC API?

Здравствуйте.
У меня большой опыт в парсинге, в том числе товаров с интернет-магазинов, а не хмл выгрузок.
Также парсил для себя и авто- мото- запчасти и одежду из нескольких источников - где огромное кол-во товаров.
Даже имел опыт в парсинге базы данных СНГ-сайтов.
Вообщем опыта достаточно для выполнения Вашей задачи качественно и в кратчайшее время.
Задача понятна могу приступить прямо сейчас.

Добрый день, заинтересовал ваш проект, давайте обсудим детали в чате

Показать оригинал

Перевести

Добрый вечер, готов выполнить ваш заказ и буду рад дальнейшему сотрудничеству. Пишите сюда в личные сообщения, скину вам примеры своих работ. Еще могу скинуть ссылку на портфолио)

Показать оригинал

Перевести

Здравствуйте.

Разрабатываю парсеры на NodeJS. Готов взяться. Пишите, обсудим.

пишу парсеры на питоне для разных, обращайтесь все сделаем.
___________________________________________________________________

Готов взяться. Требуется уточнить детали заказа, пишите! Использую python, uv, github, docker.

Показать оригинал

Перевести

Уже сделал скрипт на Python. Там миллионы товаров. Придется разбивать на файлы. И делать паузы между запросами на сайт, потому что заблокируют. Могу показать готовый файл на 800 товаров. Обращайтесь для уточнения конечного результата.

Показать оригинал

Перевести

Добрый день, веб-программировании уже более 9 лет
Работаю с rest api, фреймворками и cms такие как django, laravel, yii2, wp, opencart, codegnither и т.д. Готов выполнить задачу.
Отзывы: Freelancehunt

здравствуйте, готов взяться за проект, опыт имеется, жду отклика.

Добрый день! Специализируюсь на разработке парсеров и автоматизации. Готов реализовать парсер LCSC.com на Python для регулярного сбора актуальных "In Stock" товаров в XLSX, с возможностью дальнейшей поддержки. Имею опыт работы с веб-скрейпингом и большими объемами данных.

Напишите в личные сообщения, уточним детали.

Показать оригинал

Перевести

Здравствуйте!

Я ознакомился с вашим заданием и просмотрел прикрепленный пример CSV-файла. Задание полностью понятно — нужно написать парсер для сайта lcsc.com, который соберет необходимые данные по компонентам и точно воспроизведет нужную вам структуру таблицы.

Как я это реализую:
Напишу надежный скрипт на Python. Если сайт использует динамическую подгрузку или защиту, использую инструменты для имитации реального браузера, чтобы избежать блокировок. Скрипт автоматически пройдет по категориям/ссылкам, соберет артикулы, цены и другие характеристики, после чего сформирует готовый файл (CSV/Excel) ровно по вашему шаблону.

Код будет чистым и задокументированным, чтобы вы могли запускать его самостоятельно в будущем. При необходимости могу упаковать все в Docker.

… Уточняющий вопрос:
Парсинг нужен один раз (просто собрать базу на сейчас), или этот скрипт должен запускаться регулярно для обновления остатков и цен?

Показать оригинал

Перевести

Добрый день. С сайтом ознакомился. Могу написать парсер, который будет нужные вам данные в таблицу Excel.

Показать оригинал

Перевести

Добрый день. Могу написать консольную программу для парсинга этих товаров на python. Вложенный файл почему то не открывается - можете повторно выслать в лс?

Здравствуйте. У меня большой опыт в разработке парсеров. Готов к сотрудничеству.

Показать оригинал

Перевести

Напишу парсер, размещаю на своих ресурсах с дальнейшей поддержкой.
Для сбора такого количества нужны прокси, включаются в поддержку.
Так же сайт отдает не более 5000 товаров за раз, нужна разбивка по фильтрам.
Пишите обговорим детали.

Здравствуйте! Напишу скрипт под ваши нужды, который будет проходить по страницам пагинации всех разделов и получать информацию о наличии и ценах на товары.

Показать оригинал

Перевести

Здравствуйте, я Python - разработчик, есть опыт в разработке парсеров разной сложности. Могу выполнить ваш проект быстро и качественно. Пишите - обсудим детали. Приступить к работе готов уже сегодня

Добрый день, могу сделать программу и отдать Вам, или могу собирать данные по Вашему запросу.
Пишите, обсудим.

Здравствуйте! Я внимательно изучил ваш проект и готов приступить к его реализации. Давайте обсудим детали для наилучшего выполнения.