Парсинг товаров с сайтов доноров
Задача: спарсити всі можливі данні по кожній позиції товару з сайтів донорів, включаючи фото та файли та залити на сайт отримувач.
Сайт отримувач - інтернет-магазин на Modx + Minishop2.
Встановлено плагін msImportExport, який дозволяє імпорт/експорт даних з CSV, XLSX
Приклади сайтів донорів:
- https://speckabel.com/
- https://alay.com.ua/
- https://prom.ua/ua/brands/Ukrpozhkabel?srsltid=AfmBOop1DNWvARzd12XCCcheCIDjBX-RyULMokq6_Gef767KnJsQshzL&company=3901234
- https://smart-home.com.ua/%D1%83%D0%BA%D1%80%D0%BF%D0%BE%D0%B6%D0%BA%D0%B0%D0%B1%D0%B5%D0%BB%D1%8C.html?limit=100
- https://alay.com.ua/kabelno-providnykova-produkcziya-tm-speczkabel-nvp-alaj/
Пропонуйте варіант реалізації процесу парсингу, його вартість та строки реалізації:
- Парсинг відразу в БД MySQL + зображення та файли на сервер
- Парсинг в CSV, XLSX + подальший імпорт за допомогою плагіну msImportExport
- Парсинг за допомогою плагіну xParser (є можливість встановити)
- Ваш варіант
Отзыв заказчика о сотрудничестве с Oleg N.
Парсинг товаров с сайтов доноровОтличный исполнитель. ТЗ обработал еще до начала резервирования средств. Показал, как будет выглядеть результат парсинга с фактическими данными (спарсил данные даже без предоплаты), записал видео. Все очень быстро и профессионально. После резервирования средств в течение 10 минут мы получили ссылки на соответствующие файлы и архивы. Рекомендую для сотрудничества! Мы очень довольны!
Отзыв фрилансера о сотрудничестве с Вікторією Рубцовою
Парсинг товаров с сайтов доноровВсе супер, чудовий замовник. ТЗ дуже чітке і зрозуміле, найкраще що я зустрічав. Дякую за довіру.
-
3631 17 0 Здравствуйте, Виктория!✋
У меня есть опыт в веб-скрапинге, автоматизации сбора данных и интеграции.
Готов помочь в реализации вашего проекта!
🔹 Что предлагаю:
✅ Парсинг всех возможных данных с сайтов-источников
✅ Форматы сохранения:
… ✅ Прямой парсинг в БД MySQL (автоматическое добавление товаров в MiniShop2)
✅ Парсинг в CSV/XLSX + импорт через msImportExport
✅ Автоматизация импорта через xParser (если будет установлено)
🔹 Технологии:
🛠 Python 3.x, Scrapy, Selenium, BeautifulSoup, pandas, MySQL Connector
📡 Обход JavaScript-загрузок (если нужно)
🔹 Сроки и стоимость:
⏳ Оценка сроков:
Базовый парсинг + CSV/XLSX: 3 дня
Прямой импорт в MySQL: 1 день
Оптимизация под xParser: 2 дня (при установленном плагине)
Правки: 2 дня
💰 Оценка стоимости – зависит от объема и сложности сайта-донора. Готов обсудить детали лично.
🚀 Качественно реализую парсер и автоматизирую импорт под ваши потребности!
С уважением,
Андрей!
-
282 1 0 😄 Привет,
Я благодарен вам за то, что вы нашли время ознакомиться с моей заявкой на вакансию, и понимаю, что именно предполагает ваш проект. Имея значительный опыт в сфере сбора данных и управления базами данных, я уверен, что смогу выполнить ваши требования.
Одним из самых интересных проектов, над которым я работал, было создание скрапера, который непосредственно передает данные в базу MySQL. В частности, мне нужно было собирать данные с различных e-commerce сайтов, включая изображения и файлы, и сохранять их на сервере. Для сбора данных я использовал библиотеки Python — BeautifulSoup и requests, а для взаимодействия с базой данных и сервером файлов — MySQL Connector/Python и Flask соответственно.
Также нужно было сохранять определенные данные в форматах CSV и XLSX. Для этого я использовал библиотеку pandas в Python, которая предоставляет мощные инструменты для обработки данных. Собранные данные затем импортировались с помощью плагина msImportExport, что позволило эффективно управлять данными, сохраняя их структуру для обеспечения согласованности.
В другой части проекта я использовал плагин xParser. Его пришлось установить для парсинга HTML-данных, и это был идеальный выбор благодаря широким возможностям настройки под специфические потребности. xParser оказался особенно полезным для парсинга сложных структур данных, с которыми другие инструменты имели трудности.
…
🕒 Я доступен как для частичной, так и для полной занятости и гибок относительно различных часовых поясов. Уверен, что мой опыт будет полезен для успешного выполнения вашего проекта. Поверьте, вы не пожалеете, если мы будем сотрудничать.
С нетерпением жду дальнейшего обсуждения деталей вашего проекта.
Спасибо, что уделили время для ознакомления с моим предложением! 😊
-
735 3 1 Добрый вечер!
Предлагаю:
1. Парсить можно с помощью Scrapy или API сайтов и записывать в базу, можно взять Postgresql
2. Сохранить можно в виде csv или json
Загрузку файлов и фото на сайт нужно обсудить отдельно как этап.
Буду рад помочь в выполнении Вашего задания.
-
319 2 1 У меня большой опыт в разработке различных парсеров. Сделаю все быстро, качественно и дешевле чем 4000. За подробностями в личные
-
3406 32 0 Здравствуйте.
Могу выполнить вашу задачу.
В таком варианте:
Парсинг в CSV, XLSX + дальнейший импорт с помощью плагина msImportExport
Больше деталей можем обсудить в личных сообщениях
-
1877 53 0 Здравствуйте, готов выполнить ваше задание, спарсить все необходимые данные с указанных сайтов доноров и загрузить их на ваш Modx.
Вариант реализации - Парсинг в CSV, XLSX + дальнейший импорт с помощью плагина msImportExport
-
376 10 3 Здравствуйте!
Меня заинтересовала ваша задача, могу предложить выполнить её по первому или второму варианту, которые вы описали в конце. У меня только один вопрос - вас интересует разовый сбор информации или на постоянной основе? От этого будет зависеть срок выполнения (это займет примерно 5-7 дней). Стоимость - до 5000 грн.
Можем связаться в личных сообщениях и всё детально обсудить.
Обращайтесь, буду рад сотрудничеству!
-
276 2 2 Добрый день!
Готов взяться за ваш заказ. Имею опыт в парсинге данных на Python и Selenium. Смогу парсить сразу в бд и выгружать данные на сервер.
-
486 23 0 Добрый день, с этой платформой не знаком, могу и в формате excel парсить, в базу данных тоже. Сейчас не возьмут за много сайтов.
Насколько я понял, нужно еще подстроить категории сайтов, с парсенных и этого сайта, на который будут загружаться товары.
Сроки условные, сроки тоже.
Актуальные фриланс-проекты в категории Веб-программирование
Проблемы с отображением текстур 3D файлов на Sketchfab
700 UAH
Подскажите, почему у меня не отображаются текстуры 3D файлов и при загрузке их на Sketchfab у меня белые стены? Такое происходит в любом файле blend, fbx, glb, я работаю в Blender, версии 5.0. Я уже нажимала на Pack resources или Make of paths absolute/relative, но все равно при… 3D моделирование и визуализация, Веб-программирование ∙ 1 час 13 минут назад ∙ 3 ставки |
Нужна помощь при верификации документов на Fiverr
700 UAH
Кто-то сталкивался с такой проблемой кроме меня из пользователей Fiverr? Я только недавно зарегистрировалась там, попробовала пройти верификацию для того, чтобы опубликовать Гик, но при сканировании обратной стороны паспорта скан отказывает мне и пишет, что некорректный формат… Веб-программирование, Обучение ∙ 1 час 22 минуты назад ∙ 4 ставки |
Онлайн урок"Ищу технического специалиста / программиста для настройки короткого онлайн-урока для сферы косметологии в США (штат Иллинойс). Нужно загрузить текст/видео на готовую платформу (Teachable или аналог / или простой WordPress) и настроить защиту: блокировка перехода к следующему… Веб-программирование ∙ 4 часа 24 минуты назад ∙ 21 ставка |
Создание index.html в стиле примера
2546 UAH
Здравствуйте. Хочу index.html очень похожим в сторону генерированного ИИ примера. Нужно воссоздать этот Американский олдскул стиль. Веб-программирование ∙ 7 часов 35 минут назад ∙ 76 ставок |
Внести правки на сайте WP.
4000 UAH
Необходимо внести правки на сайте который на Вордпрессе. Сайт по тематике казино, поэтому опыт с данной тематикой приветствуется. Перечень правок которые необходимо выполнить: -Перенести 15 блоков из ACF в Gutenberg Block + проверить его отображение - Настроить правильное… Веб-программирование ∙ 8 часов 9 минут назад ∙ 63 ставки |