Парсинг сайтов поставщиков

Добрый день.
Наша команда имеет многолетний опыт в разработке ERP, CRM, CMS и специализированного программного обеспечения для бизнеса. Мы создаем эффективные цифровые решения, которые помогают автоматизировать процессы, повышать производительность и масштабировать компании.

Работаем с современными технологиями — от ботов и скриптов до AI-агентов и аналитических систем. Разрабатываем сайты различной сложности. В нашем портфолио — реализованные ERP-решения для гостиничного бизнеса, а также для компаний, занимающихся импортом и продажей товаров, а также собственный продукт XFitness — ERP-система, созданная специально для фитнес-клубов.

Мы специализируемся в таких сферах:
- Разработка ERP Систем
- Разработка CRM Систем
- Разработка Веб-Сайтов любой сложности
… - Разработка CMS Систем
- Поддержка Веб-Сайтов
- Разработка OpenCart
- Поддержка OpenCart
- Модификация OpenCart
- Доработка OpenCart
- Разработка WordPress
- Поддержка WordPress
- Модификация WordPress
- Доработка WordPress
- Разработка ECommerce
- Поддержка ECommerce
- Модификация ECommerce
- Доработка ECommerce
- Разработка Веб-Приложений
- Поддержка 1С Серверов
- Поддержка Веб-Серверов
- Разработка мобильных приложений
- Парсинг данных
- Разработка ботов
- Разработка AI-агентов

и на таких технологиях:
- Python
- PHP
- Laravel
- Symfony
- Yii2
- JS
- NodeJS
- jQuery
- TypeScript
- MySQL
- HTML
- CSS
- Vue
- Nuxt.js
- React
- React Native
- C++

Показать оригинал

Перевести

Здравствуйте, python разработчик с опытом более 5 лет, парсингом занимаюсь более 4. Проект большой, так как нужно сделать модули под каждый веб-сайт. В целом ваш стек уместен, так как сайтов много и это самый быстрый вариант, однако не самый безопасный. Я просмотрел несколько веб-сайтов и парсинг там можно провести без авторизации и защиты сильной нет, поэтому можно использовать текущий стек, однако нужно просмотреть весь список, так как для некоторых возможно потребуется использование антидетект браузеров для эмуляции. Указываю сроки, за которые я уверен, что я это выполню, и цену с учетом дополнительного кода под веб-сайты с лучшей системой безопасности. В целом реализовать не проблема, тут просто вопрос времени на обработку всех веб-сайтов. Если вас устраивают условия, то пишите в личные сообщения, пообщаемся и буду рад сотрудничеству!

Показать оригинал

Перевести

Добрый день. Я работал с очень многими парсерами, обходя защиту клаудфлара, используя авторизацию и т.д. Могу взяться за ваш парсер. Опыт с библиотеками указаными вами есть, но думаю что прийдеться их заменить, т.к. при малейшей защите сайта - код сломаеться. Напишите в личку, я хотел бы осмотреть уже готовый код, тогда получиться назвать точную цену, но думаю что будет +- как указаная.

Привет!

Есть опыт в парсинге сайтов с различными механизмами авторизации, недавно реализовал систему сбора данных с нескольких торговых платформ, используя Python, BeautifulSoup и Requests.

Я перепишу вашу систему парсинга с нуля, применив современные практики, такие как асинхронность через aiohttp, что позволит значительно ускорить процесс сбора данных. Буду извлекать информацию (фото, название, цена, наличие) в соответствии с вашими требованиями.

Это решение обеспечит гибкость в дальнейшей модернизации, а также сможет адаптироваться под новые сайты без лишних усилий. Давайте обсудим детали!

Показать оригинал

Перевести

Здравствуйте! У меня есть опыт парсинга сайтов и автоматизации маркетплейсов, в частности с Prom.ua, OLX. Думаю, что переписывать систему с нуля не обязательно — целесообразнее оптимизировать текущий код на requests/bs4 и интегрировать новых поставщиков в существующую архитектуру.

Напишите в ЛС для детального обсуждения технических нюансов и сроков реализации.

Показать оригинал

Перевести

Добрый день,

Хочу попросить вас просмотреть файлы текущей реализации системы парсинга и дать обратную связь по возможному обновлению или полному переписыванию решения.

Показать оригинал

Перевести

Добрый день.
Задача ясна.

Парсеры будут на впс, всё будет работать без Вашего участия.
Будет сайт который можно открывать удалённо, можем добавить фильтры или расширенный поиск если нужно.

Касательно цены - нужно посмотреть пару примеров парсеров которые уже работают, выйдет ли их адаптировать.

Пишите - всё обсудим.

Добрый день!
У меня есть опыт разработки систем парсинга и автоматизации на Python. Вижу, что у вас сейчас работает базовое решение, но для современного уровня лучше построить модульную систему, где каждый сайт будет иметь свой адаптер. Это позволит легко добавлять новые источники и поддерживать стабильность при изменениях.

Здраствуйте, могу вам насрепить данных (~3000 товаров 90 долларов) с разных сайтов. Только распишите подробнее какие данные нужны и куда положить их. Буду рад сотрудничеству.

Здравствуйте,готов сделать,надо обсудить детали проекта в ЛС и модно начать работц