Задание для поиска по сайтам краткосрочной аренды недвижимости
1. Основная часть
Что нужно сделать?
Нужно разработать веб-сайт (далее «наш сайт») агрегатор предложений по краткосрочной аренде недвижимости. На этом сайте, по введѐнному запросу, должны собираться и отображаться данные с нескольких сайтов, которые отображаются на них по аналогичным запросам.
Перечень сайтов для сбора данных (сайты-доноры)
1. http://www.homeaway.co.uk
2. http://www.holidaylettings.co.uk
3. http://www.ownersdirect.co.uk
4. http://www.mallorca-holiday-rentals.info/en/home.h... - поиск только по стране Malorca
5. http://www.spain-holiday.com - поиск только по стране Spain
6. http://www.housetrip.com/en
7. https://www.flipkey.com
8. http://www.oliverstravels.com - нужно понять получится ли использовать общий запрос?
9. http://www.cheznous.com - поиск только по стране France
10. http://www.airbnb.com
Для каждого из сайтов нужно написать парсер, который будет копировать данные о всех, найденных по запросу объектах (кратких описаний объектов) в базу данных на нашем сайте (далее «наша БД»).
Какие данные нужно хранить или использовать временно?
Нужны три базы данных:
1. Временная БД коротких описаний. В эту БД при каждом запросе должны временно записываться данные коротких описаний объектов, которые найдены по запросу на всех сайтах, которые парсятся. Данные должны храниться до тех пор, пока пользователь, инициировавший запрос, не покинет сайт или не задаст другой поисковый запрос.
2. Стационарная БД наименований ТОП объектов, статистики показов и оплаты.
3. Стационарная БД зарегистрированных пользователей.
Общий принцип работы
1. На первой странице нашего сайта пользователь должен вводить, в соответствующую форму, запрос для поиска. На основании данных, введенных в форму поиска на нашем сайте, должны формироваться запросы для соответствующих форм поиска на сайтах, перечисленных выше.
2. Сформированные запросы должны быть отправлены на соответствующие веб-сайты.
3. По мере отправки запросов, для каждого сайта должен запускаться парсер страницы с выводом кратких описаний объектов (каталога объектов). Данные должны копироваться в нашу временную БД.
4. Для каждого загружаемого описания должна производиться сверка наименования с уже залитыми в БД коротких описаний. Если в базе уже присутствует объект с таким же названием, то новое описание не заливается, а в описание существующего добавляется цена, название сайта и ссылка.
В итоге для совокупности объектов, имеющих одинаковое наименование, в БД должны быть записаны поля описания с сайта, данные с которого первые поступили в систему, и цены со всех остальных сайтов.
5. Для каждого загружаемого описания должна производиться сверка наименования, и города с базой БД наименований ТОП объектов и статистики показов. Если в базе присутствует объект с таким же значением полей «Наименование» и «Город» и значение поля «Дата по» более чем дата сегодня, то загружаемому объекту должен присваиваться статус «ТОП».
6. По мере поступления данных кратких описаний объектов в нашу БД коротких описаний они должны отображаться на нашем сайте.
7. При нажатии на пиктограмму «Заказать» (или еѐ аналог) пользователь должен перенаправляться на страницу заказа на соответствующем сайте (с которого были получены данные о соответствующей цене).
8. Данные должны храниться до тех пор, пока пользователь, инициировавший запрос, не покинет сайт или не задаст другой поисковый запрос (или какой-либо другой рациональный и обосновнный вариант).
Полное описание проекта во вложении
Гонорар и сроки присылайте в почту [email protected]
