Многопоточный парсер информации с сайта

C & C++, C#, PHP — incorrectly specified categories?

16 USD

Всем привет.

Интересует создание парсера который будет работать в облаке.

Функции необходимые:

Парсить информацию каждую секунду.

На сайте есть 4 тематики в каждой тематике есть публикация объявлений по городам. Городов 20.

Задача сделать на каждую тематику по 20 потоков постоянного парсинга. Сохранять информацию в mysql в таблицы. Один поток одна таблица. Парсер должен записывать только уникальные профили. Информация как правило это айди, телефон, имя, заголовок, описание, фото. Информация должна проверяться на наличие в таблице, если есть то не записываем. Если нет пишем в таблицу.

Работать должен со списком прокси.

Очень важно постоянный мониторинг сайта на наличие новых профилей.

Proposals 6 Discussions 4