Парсинг сайта обьявлений, занесение обьявлений в свою базу данных

Data Parsing — incorrectly specified categories?

157 USD

Задача следующая:

1. Есть сайт на котором порядка 30,000 обьявлений висит в текущий момент, все стандартизировано. Эти обявления опубликованы с ценами. У нас задача каждую минуту считываьть все 30,000 обьявлений, заносить их все к нам в базу (там около 12ти полей). Т.е новые которые появились мы заносим в базу, старые которые уже в базе проверяем поменялась ли цена и если поменялась обновляем. По каждому обьявлению помимо тех 12ти полей нужно добавить следующие

дата и время когда это обявление впервые было считано системой
первая цена которая была считана системой
последняя цена которая была считана системой
дата и время последнего обновления этого обьявления у нас в базе (если не обновляли то дата добавления в базу)
дата и время когда это обьявление ушло с сайта
сколько времени с момента последнего обновления до момента когда обьявление удалено с сайта

За месяц общее количество новых обьявлений около 200,000. Те обьявления которые были удалены с сайта больше 4х недель назад мы у себя архивируем.

На сайте есть возможность делать сортировку обьявлений по дате появления, также если обьявление изменилось, у него обновляется дата появления. Т.е. после первого парсинга системы нужно будет парсить каждую минуту все новые обьявления что появились или обновились, добавлять к нам в базу или обновлять старые новой датой, проверять каких уже нет на сайте и обновлять данные по удалению в нашей базе.

По запросу в личку пришлю скрин с сайта который нужно парсить

Proposals 6 Discussions 6

Dmytro Ohorodnik

43 0

Projects 44
Rating -
Rating 1 075

Budget: 20000 UAH Deadline: 14 days

Здравствуйте. Разрабатываю парсеры и базы данных. Пишу на языке программирования Python. Открыт для обсуждения сотрудничества. Также подписываюсь под каждым словом Фёдора Сергиенко на счёт возможности реализации парсера с таким большим кол-вом запросов в минуту.

Illia Smyrnov

27 0

Projects 23
Rating -
Rating 2 595

Budget: 200 UAH Deadline: 1 day

Никита, добрый день!
Можем выполнить проект. Пишем на Python/Django для обеспечения высокой скорости и минимальной нагрузки.
Так же для большего понимания проекта прошу вас ответить на следующие вопросы:
1 Что делаем дальше со спарсенными данными, помимо внесения в базу? Выводим их на ваш сайт? Или делаем возможность анализа через админ-часть? Или еще ваши варианты?
2. Потребуется ли какая-либо визуализация изменения цены? Например в виде графика?

Жду обратной связи!

Andrey Kovalchuk

0 0

Projects -
Rating -
Rating 180

Budget: 1000 UAH Deadline: 1 day

Добрый день. Интересная работа. Делал много подобного. Обращайтесь.

Oleksandr B. 6 February 2020

30 000 запросов в секунду сможет выдержать только очень большой магазин, но даже так отправлять эти запросы каждую секунду будет стоить вам слишком много денег