Онлайн парсер разделов "To Do" и "Holiday Rentals" с сайта
http://www.tripadvisor.com/
Заполнять нашу базу конечными объектами. А именно:
- карточки To Do
- карточка Holiday Rentals
1. Парсеры должны быть:
а) автономны, взаимонензависимы
б) запускаться по расписанию cron (выполняться в shell-среде)
в) использовать для закачки внешний текстовый файл со списком прокси
г) закачивать всю информацию через прокси-сервера
д) при успешном сканировании парсер должен оставлять метку в таблице скул
Ссылка на источник картинки
Ссылка на выкачаную страницу-источник
2. Все ревьюзы должны иметь (если заполнено поле):
а) str Наименование (шапка)
б) array Поставленные оценки (Value, Atmosphere, Service, Food)
в) date дата отзыва
г) text текст отзыва
д) str логин пользователя
е) str аватар пользователя
ж) str город пользователя
е) str страна пользователя
3. Все картинки, которые закачиваются на сервер, должны:
а) переименованы согласно правилу переименования.
Новое имя – наименование объекта, к которому картинка относится + локация уровнем выше,
разделенная подчеркиваниями + Если картинка - лого, то_ logo, если аватар, то _avatar,
если фото, то _foto_[01, 02 итд],
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_logo.jpg
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_01.jpg
б) Все имена объектов должны быть переименованы, согласно правилам переименования.
в) Имена локаций должны оставаться неизменными, иерархия сохраняться.
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_logo.jpg
должен лежать по пути /img/to-d/argentina/buenos_aires/06_central_hostel_logo.jpg
Правила переименования:
В наименовании должно остаться только буквы, цифры, тире, апостроф, скобки ().
Символы +, & и подобные заменять на plus, and, итд. Если попадается что-то не описаное в требованиях – уточняем.
Необходимые поля:
Развлечения:
str наименование,
str адрес,
str телефон,
str сайт,
array Тип (Type),
str Описание (owners description),
str е-маил,
array путь (breadcrumbs),
array Профессиональные фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google
Квартиры в аренду (Holiday rentals):
str наименование,
str адрес,
str телефон,
str сайт,
array удобства (amenities and details),
str описание (Property details),
str е-маил,
array путь (breadcrumbs),
array Фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
float рейтинг (4.5 of 5 stars), если есть
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google,
str цены (rates),
str платежи (fees)
Верхний уровень локации (London):
str наименование,
str Описание (owners description),
array путь (breadcrumbs),
array Профессиональные фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google
если попадается локация speciality lodging, закрепляем объект,
находящийся в этой локации, за локацией-родителем локации,
содержащей speciality lodging.
Например "South America > Argentina > Capital Federal
District > Buenos Aires > Buenos Aires Specialty Lodging"
закрепляем за "South America > Argentina > Capital Federal
District > Buenos Aires"
Для ускорения выполнения работы предоставляем списки прокси,
механизм закачки через прокси, класс преобразования кода html
в объект dom
