Парсинг цін постачальника

Вітаю, вже розробляв високопродуктивні парсери з паралельною обробкою, ротацією проксі і Selenium/Playwright для динамічних сайтів.

По Вашій задачі:
* терміни і вартість будуть залежати від складності сайту та наявності у них відкритого API
* для пришвидшення парсингу, варто записувати БД. По бажанню, можу зробити засіб для експорту із БД в Excel або автоматично це робити і відправляти готовий файл на пошту чи Telegram

Пишіть, обсудимо всі деталі замовлення

Доброго дня. Готова обговорити деталі проекту. Є подібний досвід роботи. Звертайтесь.

Вітаю!
Можу виконати Ваш проєкт — маю багаторічний досвід у створенні парсерів і фідів. Буду радий співпраці.

Також в майбутньому за потреби зможу створити аналітичний дашборд із зібраних товарів.

Вітаю, Павле Валентиновичу!

Маю досвід розробки парсерів для складних логістичних та торгових систем. Ваше завдання вимагає не просто збору даних, а створення стабільної архітектури для моніторингу 10 000+ позицій щодня.

Пропоную наступне технічне рішення:

Стек: Python (библиотеки requests/aiohttp для швидкості) + база даних SQLite для зберігання історії та уникнення дублікатів.

Алгоритм вибору: Реалізую логіку фільтрації складів-винятків та автоматичний пошук найнижчої ціни серед доступних залишків.
…
База даних: Система буде автоматично перевіряти артикули: нові додаються в базу, існуючі — оновлюються новими ціновими зрізами.

Автоматизація: Налаштую щоденний запуск за розкладом (Task Scheduler/Cron). Ви отримуватимете Excel-таблицю, де дати парсингу автоматично стають новими стовпцями для зручного порівняльного аналізу.

Кілька уточнюючих питань:

Чи є у вас список артикулів у файлі (Excel/CSV), чи їх потрібно підтягувати з іншого джерела?

Чи має сайт постачальника захист від частого звернення (Cloudflare тощо)? Можливо, знадобиться використання проксі для стабільної роботи з 10к запитами.

Готова розробити надійне рішення, яке працюватиме автономно.

Доброго дня, напишіть в особисті повідомлення для уточнення сайту постачальника і пару артикулів для тестування

Доброго дня. Готовий зайнятися цим парсером. Міг би і сьогодні почати. Пишіть, дякую.

Доброго дня. Готов виконати даний проект маю великий досвiд розробки додаткiв

Привіт!

Парсери з щоденним збором даних і Excel-звітами — наш профіль.

По проекту:

Парсинг — перевірю чи є API у постачальника (швидше + без бану). Якщо ні — Playwright для JS-сторінок або httpx якщо статика. 10 000 артикулів оброблю з затримками щоб не словити бан.

Логіка фільтрації — по кожному артикулу знаходжу всі склади, виключаю заборонені назви, фільтрую по типу доставки, беру мінімальну ціну.
…
Excel — таблиця: рядки = артикули, колонки = дати парсингу, на перетині — мінімальна ціна того дня. Нові артикули додаються без дублів. Є можливість експорту з бази в будь-який момент.

Автозапуск — щоденний парсинг у заданий час через планувальник (APScheduler або cron на VPS).

пропоную парсер з відкритим кодом на NodeJS. досвід написання великий. врахую всі умови

Показати оригінал

Перекласти

Добрий день, пишу від імені компанії Devoxen. Якраз спеціалізуємось на подібних задачах. Маємо великий досвід у розробці парсерів, автоматизації збору даних та побудові систем моніторингу цін для великих обсягів товарів. Зможемо реалізувати парсер для збору цін по артикулах із логікою відбору мінімальної ціни по конкретних параметрах складу, виключенням небажаних складів та автоматичним щоденним оновленням даних.

Також можемо реалізувати роботу через API або максимально безпечний режим парсингу для мінімізації ризику блокувань, збереження історії цін у БД та автоматичний експорт/синхронізацію з Excel. Передбачимо перевірку дублів артикулів, автоматичне додавання нових позицій та накопичення історичних даних по датах парсингу для подальшого аналізу.

Можемо зробити без зайвих питань та витрат часу. Також даємо гарантію та за бажанням підтримку. Ми зможемо взяти в роботу ваш проект одразу після обговорення ТЗ.

Пропоную перейти в особисті повідомлення для більш детального діалогу.

Доброго дня
Мене звати Дмитро
Можу реалізувати автоматичний парсер для збору цін по артикулах з щоденним оновленням та накопиченням історії цін.
Що буде:
— пошук товарів по артикулах
— вибір найнижчої ціни з урахуванням типу доставки
— виключення потрібних складів
— автоматичний щоденний парсинг
— збереження історії цін по датах
… — Excel-таблиця / експорт для аналізу
— захист від дублювання артикулів
Працюю з великими обсягами даних і парсингом, тому система буде розрахована на 10000+ артикулів.
По строках: 5–14 днів
Готовий обговорити деталі 👍

Великий обсяг даних: Необхідно ефективно обробляти понад 10 000 артикулів.

Робота з API або HTML: Якщо у постачальника немає API, парсинг HTML значно ускладнює роботу через ризики блокування.

Складні правила: Алгоритм має аналізувати кілька складів для кожного товару: порівнювати ціни, фільтрувати за типом доставки та виключати певні склади за назвою.

Інфраструктура: Вартість включає створення бази даних, налаштування щоденного автоматичного запуску (cron) та інтеграцію з Excel для звітів.

Вітаю.Є великий досвід в розробці парсерів.Готовий до співпраці.

Вітаю!
Парсинг цін постачальника зі складів - робили схоже для прайс-моніторингу.
10000 артикулів щодня це ~7 годин парсингу при 0.4 сек/артикул, тому API критичне якщо є - через скрапінг буде повільно і ризиковано. Фільтрація по типу доставки + виключення складів + пошук мінімальної ціни - стандартна логіка.

Скиньте посилання на сайт постачальника і приклад артикулу - перевірю чи є API і дам точну оцінку.

Вітаю!

Можу реалізувати такий парсер з автоматичним щоденним збором даних по ~10 000 артикулів, включно з логікою вибору найвигіднішого складу та фільтрацією складів, з якими ви не працюєте.

Технічно це можна зробити як Python-сервіс (Scrapy/Playwright або API-інтеграція, якщо вона доступна), з базою даних для зберігання історії цін та автоматичним експортом в Excel за потреби. Парсинг можна запускати по розкладу (cron/серверний scheduler), щоб процес виконувався щодня в заданий час без ручного втручання.

Логіка буде включати: пошук товару по артикулу, отримання всіх доступних складів, відбір складу з мінімальною ціною з урахуванням типу доставки та виключених складів, а також збереження історії змін по датах у структурованому вигляді. Нові артикули будуть автоматично додаватися в систему без дублювання, і почнуть парситись з наступного циклу.

Готовий обговорити деталі!

Павло, добрий день!

Маю досвід розробки парсерів для e-commerce та моніторингу цін із щоденним автоматичним оновленням даних.

Для точної оцінки хотів би уточнити кілька моментів:
- посилання на сайт постачальника;
- приклад артикулу;
- які типи доставки потрібно враховувати;
- список складів, які потрібно виключити.
…
Після короткого аналізу зможу запропонувати оптимальний варіант реалізації, терміни та точну вартість.

Можлива реалізація як через API (якщо доступне), так і через парсинг сайту з автоматичним щоденним оновленням, збереженням історії цін та експортом в Excel/Google Sheets.

Готовий взятися. Але важливо побачити що за сайт.
Треба уточнити деталі замовлення, пишіть!
Використовую python, uv, github, docker.

Я краще всіх виконаю цей проєкт, тому що маю глибокий досвід створення стабільних парсерів для e-commerce з захистом від банів, роботою з динамічним контентом та великими обсягами даних. Моя архітектура гарантує точність: унікальність артикулів, коректний вибір складу за ціною та типом доставки, виключення небажаних майданчиків. Ви отримуєте не просто скрипт, а надійну систему з логуванням, обробкою помилок, гнучким налаштуванням розкладу та зручним експортом для аналізу. Код буде чистим, документованим і готовим до масштабування, а підтримка забезпечить стабільну роботу місяцями.
План роботи:

Аналіз сайту постачальника: визначення методу доступу (API або HTML-парсинг), вивчення структури відповіді, параметрів складів, обмежень.
Проєктування архітектури: вибір стеку (Python, requests/Scrapy, SQLite/MySQL), розробка схеми бази даних для артикулів, цін, дат та параметрів складів.
Реалізація ядра парсера: пошук за артикулом, фільтрація складів, виключення заборонених назв, вибір мінімальної ціни з потрібним типом доставки.
Система збереження: логіка додавання нових артикулів без дублів, накопичення історії цін по датах, валідація даних.
Інтеграція з Excel: експорт зведених таблиць через pandas/openpyxl, імпорт з бази за запитом, форматування для аналізу.
Автоматизація: налаштування планувальника (cron/Celery), запуск у заданий час, ротація проксі, ліміти запитів для уникнення блокувань.
… Тестування та здача: перевірка на 100+ артикулах, відладка обробки помилок, інструкція з розгортання та підтримки.

Доброго дня. Хотілося б побачити донора. Звертайтеся, обговоримо всі деталі.

Показати оригінал

Перекласти

Привітую Павле, готовий виконати. Присилайте в особисті повідомлення, звідки потрібно парсити, обговоримо детальніше.

Показати оригінал

Перекласти

Скиньте, будь ласка, сайт постачальника для ознайомлення, дякую.................................

Показати оригінал

Перекласти

Вітаю!
Виконував вже схоже завдання, сайт з авторизацією, різні склади та наявність.
Надайте посилання на сайт в особисті для оцінки складності роботи

Добрий день!
Швидко виконаю ваше завдання. Надайте посилання на сайт постачальника для аналізу та перевірки чи є апі.
Пишіть в особисті

Вітаю.
Великий досвід парсингу різноманітних сайтів та роботи з API постачальників.
Ставка приблизна - треба спочатку обсудити більш детально
Звертайтесь.

Вітаю! Завдання зрозуміле. Я готовий розробити для вас автономний парсер, який буде збирати та структурувати ціни, враховуючи всі ваші логічні фільтри (типи доставки, винятки складів, найнижча ціна).

Технічне рішення, яке я пропоную:
Двигун парсингу (Python + Playwright/Requests): * Якщо у постачальника є API — це пріоритет (швидкість і безпека).

Якщо API немає — реалізую імітацію дій користувача з використанням проксі-серверів та ротації User-Agent для захисту від блокувань.

Логіка вибору ціни: * Скрипт буде автоматично відфільтровувати склади за вашим "чорним списком" та за типами доставки.

… З решти варіантів буде обиратися мінімальна ціна.

База даних (SQLite/PostgreSQL): * Зберігати 10 000 позицій з щоденною історією в самому Excel небезпечно (файл стане нечитабельним через місяць).

Я налаштую базу даних, де дані будуть зберігатися структуровано, а ви зможете в один клік вивантажувати потрібний звіт в Excel (формат: Артикул | Дата 1 | Дата 2 ...).

Автоматизація (Cron/Task Scheduler): * Система працюватиме за розкладом (наприклад, о 03:00 щоночі) без вашої участі.

Робота з новими артикулами: * Реалізую функцію імпорту списку нових артикулів через текстовий файл або окрему вкладку Excel. Система сама перевірить їх на дублікати.

Вітаю.

Розробляю парсери на NodeJS. Готовий взятися. Пишіть, обговоримо.

Готовий розробити моніторинг цін, парсери пишу і розміщую на своїх серверах з подальшою підтримкою їх роботи.
Як варіант реалізації всі товари, для яких потрібен моніторинг буде знаходитись у гугл таблиці і там же будете додавати та видаляти непотрібні.

Для оцінки потрібно оглянути сайт на предмет захисту та більш детально подитвитись як отримувати дані.
Пишіть обговоримо деталі.

Спочатку тихо перевіряю, як сайт віддає дані (через офіційний «внутрішній» запит, не «клацаннями»), потім один раз налаштовуємо правила: які склади і які типи доставки враховуємо. Кожен ранок автоматично збирається найнижча ціна по кожному вашому артикулу й зберігається в історію; у Excel ви одразу бачите таблицю «артикули × дати». Нові позиції просто додаєте в список — без дублікатів, вони підхоплюються наступного дня. На виході: щоденна картина цін за всіма товарами без ручної роботи.

Доброго дня.
Можу виконати ваш проєкт.
Вже є універсальний готовий парсер на node js.
Якщо у вас є питання можете написати мені.

Доброго дня, готовий обговорити з вами деталі проекту. Пишіть в особисті повідомлення. Заздалегідь дякую

Показати оригінал

Перекласти

Парсинг цін з урахуванням унікальних складів і автоматичне щоденне оновлення — це саме те, що я робив. Маю досвід роботи з великими обсягами даних і оптимізації запитів, щоб уникнути блокувань. Якою є структура сайту постачальника — є API або доведеться парсити HTML? Це допоможе підібрати найкраще рішення.