Парсинг та публікація даних

Мені було поставлено завдання отримувати дані з певної розділу, панелі оголошень, обробка цих оголошень і синхронізація даних з сайтом клієнта. Обсяг актуальності 1 годину.
Проект на даний момент охоплює 6 міст, і збирає актуальну інформацію про оренду нерухомості, збирає повну інформацію за оголошенням, телефон, фото, робить обрізу фото, і поширює вже оброблену інформацію на сайті клієнта. Все працює на запитах, тому швидкість висока, на момент написання статті скрипт на 1 місто (2 категорії) свервав 1500+ об'єктів, на актуальність і швидкість роботи становила близько 2,5 хвилин.