Парсинг сайта обьявлений, занесение обьявлений в свою базу данных

Парсинг даних — неправильно зазначені категорії?

7000 UAH

Задача следующая:

1. Есть сайт на котором порядка 30,000 обьявлений висит в текущий момент, все стандартизировано. Эти обявления опубликованы с ценами. У нас задача каждую минуту считываьть все 30,000 обьявлений, заносить их все к нам в базу (там около 12ти полей). Т.е новые которые появились мы заносим в базу, старые которые уже в базе проверяем поменялась ли цена и если поменялась обновляем. По каждому обьявлению помимо тех 12ти полей нужно добавить следующие

дата и время когда это обявление впервые было считано системой
первая цена которая была считана системой
последняя цена которая была считана системой
дата и время последнего обновления этого обьявления у нас в базе (если не обновляли то дата добавления в базу)
дата и время когда это обьявление ушло с сайта
сколько времени с момента последнего обновления до момента когда обьявление удалено с сайта

За месяц общее количество новых обьявлений около 200,000. Те обьявления которые были удалены с сайта больше 4х недель назад мы у себя архивируем.

На сайте есть возможность делать сортировку обьявлений по дате появления, также если обьявление изменилось, у него обновляется дата появления. Т.е. после первого парсинга системы нужно будет парсить каждую минуту все новые обьявления что появились или обновились, добавлять к нам в базу или обновлять старые новой датой, проверять каких уже нет на сайте и обновлять данные по удалению в нашей базе.

По запросу в личку пришлю скрин с сайта который нужно парсить

Ставки 6 Обговорення 6

Dmytro Ohorodnik

43 0

Проєкти 44
Оцінка -
Рейтинг 1 075

Бюджет: 20000 UAH Термін: 14 днів

Здравствуйте. Разрабатываю парсеры и базы данных. Пишу на языке программирования Python. Открыт для обсуждения сотрудничества. Также подписываюсь под каждым словом Фёдора Сергиенко на счёт возможности реализации парсера с таким большим кол-вом запросов в минуту.

Illia Smyrnov

27 0

Проєкти 23
Оцінка -
Рейтинг 2 595

Бюджет: 200 UAH Термін: 1 день

Никита, добрый день!
Можем выполнить проект. Пишем на Python/Django для обеспечения высокой скорости и минимальной нагрузки.
Так же для большего понимания проекта прошу вас ответить на следующие вопросы:
1 Что делаем дальше со спарсенными данными, помимо внесения в базу? Выводим их на ваш сайт? Или делаем возможность анализа через админ-часть? Или еще ваши варианты?
2. Потребуется ли какая-либо визуализация изменения цены? Например в виде графика?

Жду обратной связи!

Андрей Ковальчук

0 0

Проєкти -
Оцінка -
Рейтинг 180

Бюджет: 1000 UAH Термін: 1 день

Добрый день. Интересная работа. Делал много подобного. Обращайтесь.

Oleksandr B. 6 лютого 2020

30 000 запросов в секунду сможет выдержать только очень большой магазин, но даже так отправлять эти запросы каждую секунду будет стоить вам слишком много денег