Парсинг товаров с сайтов доноров
Задача: спарсити всі можливі данні по кожній позиції товару з сайтів донорів, включаючи фото та файли та залити на сайт отримувач.
Сайт отримувач - інтернет-магазин на Modx + Minishop2.
Встановлено плагін msImportExport, який дозволяє імпорт/експорт даних з CSV, XLSX
Приклади сайтів донорів:
- https://speckabel.com/
- https://alay.com.ua/
- https://prom.ua/ua/brands/Ukrpozhkabel?srsltid=AfmBOop1DNWvARzd12XCCcheCIDjBX-RyULMokq6_Gef767KnJsQshzL&company=3901234
- https://smart-home.com.ua/%D1%83%D0%BA%D1%80%D0%BF%D0%BE%D0%B6%D0%BA%D0%B0%D0%B1%D0%B5%D0%BB%D1%8C.html?limit=100
- https://alay.com.ua/kabelno-providnykova-produkcziya-tm-speczkabel-nvp-alaj/
Пропонуйте варіант реалізації процесу парсингу, його вартість та строки реалізації:
- Парсинг відразу в БД MySQL + зображення та файли на сервер
- Парсинг в CSV, XLSX + подальший імпорт за допомогою плагіну msImportExport
- Парсинг за допомогою плагіну xParser (є можливість встановити)
- Ваш варіант
Отзыв заказчика о сотрудничестве с Oleg N.
Парсинг товаров с сайтов доноровОтличный исполнитель. ТЗ обработал еще до начала резервирования средств. Показал, как будет выглядеть результат парсинга с фактическими данными (спарсил данные даже без предоплаты), записал видео. Все очень быстро и профессионально. После резервирования средств в течение 10 минут мы получили ссылки на соответствующие файлы и архивы. Рекомендую для сотрудничества! Мы очень довольны!
Отзыв фрилансера о сотрудничестве с Вікторією Рубцовою
Парсинг товаров с сайтов доноровВсе супер, чудовий замовник. ТЗ дуже чітке і зрозуміле, найкраще що я зустрічав. Дякую за довіру.
-
3631 17 0 Здравствуйте, Виктория!✋
У меня есть опыт в веб-скрапинге, автоматизации сбора данных и интеграции.
Готов помочь в реализации вашего проекта!
🔹 Что предлагаю:
✅ Парсинг всех возможных данных с сайтов-источников
✅ Форматы сохранения:
… ✅ Прямой парсинг в БД MySQL (автоматическое добавление товаров в MiniShop2)
✅ Парсинг в CSV/XLSX + импорт через msImportExport
✅ Автоматизация импорта через xParser (если будет установлено)
🔹 Технологии:
🛠 Python 3.x, Scrapy, Selenium, BeautifulSoup, pandas, MySQL Connector
📡 Обход JavaScript-загрузок (если нужно)
🔹 Сроки и стоимость:
⏳ Оценка сроков:
Базовый парсинг + CSV/XLSX: 3 дня
Прямой импорт в MySQL: 1 день
Оптимизация под xParser: 2 дня (при установленном плагине)
Правки: 2 дня
💰 Оценка стоимости – зависит от объема и сложности сайта-донора. Готов обсудить детали лично.
🚀 Качественно реализую парсер и автоматизирую импорт под ваши потребности!
С уважением,
Андрей!
-
282 1 0 😄 Привет,
Я благодарен вам за то, что вы нашли время ознакомиться с моей заявкой на вакансию, и понимаю, что именно предполагает ваш проект. Имея значительный опыт в сфере сбора данных и управления базами данных, я уверен, что смогу выполнить ваши требования.
Одним из самых интересных проектов, над которым я работал, было создание скрапера, который непосредственно передает данные в базу MySQL. В частности, мне нужно было собирать данные с различных e-commerce сайтов, включая изображения и файлы, и сохранять их на сервере. Для сбора данных я использовал библиотеки Python — BeautifulSoup и requests, а для взаимодействия с базой данных и сервером файлов — MySQL Connector/Python и Flask соответственно.
Также нужно было сохранять определенные данные в форматах CSV и XLSX. Для этого я использовал библиотеку pandas в Python, которая предоставляет мощные инструменты для обработки данных. Собранные данные затем импортировались с помощью плагина msImportExport, что позволило эффективно управлять данными, сохраняя их структуру для обеспечения согласованности.
В другой части проекта я использовал плагин xParser. Его пришлось установить для парсинга HTML-данных, и это был идеальный выбор благодаря широким возможностям настройки под специфические потребности. xParser оказался особенно полезным для парсинга сложных структур данных, с которыми другие инструменты имели трудности.
…
🕒 Я доступен как для частичной, так и для полной занятости и гибок относительно различных часовых поясов. Уверен, что мой опыт будет полезен для успешного выполнения вашего проекта. Поверьте, вы не пожалеете, если мы будем сотрудничать.
С нетерпением жду дальнейшего обсуждения деталей вашего проекта.
Спасибо, что уделили время для ознакомления с моим предложением! 😊
-
735 3 1 Добрый вечер!
Предлагаю:
1. Парсить можно с помощью Scrapy или API сайтов и записывать в базу, можно взять Postgresql
2. Сохранить можно в виде csv или json
Загрузку файлов и фото на сайт нужно обсудить отдельно как этап.
Буду рад помочь в выполнении Вашего задания.
-
319 2 1 У меня большой опыт в разработке различных парсеров. Сделаю все быстро, качественно и дешевле чем 4000. За подробностями в личные
-
3406 32 0 Здравствуйте.
Могу выполнить вашу задачу.
В таком варианте:
Парсинг в CSV, XLSX + дальнейший импорт с помощью плагина msImportExport
Больше деталей можем обсудить в личных сообщениях
-
1877 53 0 Здравствуйте, готов выполнить ваше задание, спарсить все необходимые данные с указанных сайтов доноров и загрузить их на ваш Modx.
Вариант реализации - Парсинг в CSV, XLSX + дальнейший импорт с помощью плагина msImportExport
-
376 10 3 Здравствуйте!
Меня заинтересовала ваша задача, могу предложить выполнить её по первому или второму варианту, которые вы описали в конце. У меня только один вопрос - вас интересует разовый сбор информации или на постоянной основе? От этого будет зависеть срок выполнения (это займет примерно 5-7 дней). Стоимость - до 5000 грн.
Можем связаться в личных сообщениях и всё детально обсудить.
Обращайтесь, буду рад сотрудничеству!
-
276 2 2 Добрый день!
Готов взяться за ваш заказ. Имею опыт в парсинге данных на Python и Selenium. Смогу парсить сразу в бд и выгружать данные на сервер.
-
486 23 0 Добрый день, с этой платформой не знаком, могу и в формате excel парсить, в базу данных тоже. Сейчас не возьмут за много сайтов.
Насколько я понял, нужно еще подстроить категории сайтов, с парсенных и этого сайта, на который будут загружаться товары.
Сроки условные, сроки тоже.
Актуальные фриланс-проекты в категории Веб-программирование
Создание index.html в стиле примера
2546 UAH
Здравствуйте. Хочу index.html очень похожим в сторону генерированного ИИ примера. Нужно воссоздать этот Американский олдскул стиль. Веб-программирование ∙ 2 часа 41 минута назад ∙ 65 ставок |
Повышение конверсии сайта (технический аудит и II-выдача, QA аудит, семантика)
13 000 UAH
Нужен комплексный анализ сайта - технический аудит и SEO, QA аудит, семантика + выдача + бэклинки. С программой по оптимизации и реализацией. Веб-программирование ∙ 2 часа 46 минут назад ∙ 21 ставка |
Внести правки на сайте WP.
4000 UAH
Необходимо внести правки на сайте который на Вордпрессе. Сайт по тематике казино, поэтому опыт с данной тематикой приветствуется. Перечень правок которые необходимо выполнить: -Перенести 15 блоков из ACF в Gutenberg Block + проверить его отображение - Настроить правильное… Веб-программирование ∙ 3 часа 15 минут назад ∙ 55 ставок |
Доопрацювання WordPress-сайту (Elementor + WooCommerce) под рекламный запуск Google AdsЧТО НУЖНО СДЕЛАТЬ Работы разбиты на блоки, можно браться за все или за отдельные блоки: Блок 1 — Оптимизация скорости (Mobile-First) Текущая оценка мобильной версии PageSpeed — 51/100. Нужно довести до 80+. Целевые метрики: LCP < 2.5 с (сейчас 7.4 с), FCP < 1.8 с (сейчас 3.9… CMS, Веб-программирование ∙ 3 часа 26 минут назад ∙ 28 ставок |
Разработка современного SEO-сайта для кофейного фудтрака
44 923 UAH
Ищу опытного разработчика, который создаст современный сайт для мобильной кофейни в США с учетом требований SEO. Текущий сайт уже существует, но требуется разработать новый сайт с нуля, ориентированный на долгосрочное продвижение в Google. Что необходимо: • Разработка… Веб-программирование ∙ 13 часов 7 минут назад ∙ 109 ставок |