Многопоточный парсер информации с сайта

C i C++, C#, PHP — podano nieprawidłowe kategorie?

66 PLN

Всем привет.

Интересует создание парсера который будет работать в облаке.

Функции необходимые:

Парсить информацию каждую секунду.

На сайте есть 4 тематики в каждой тематике есть публикация объявлений по городам. Городов 20.

Задача сделать на каждую тематику по 20 потоков постоянного парсинга. Сохранять информацию в mysql в таблицы. Один поток одна таблица. Парсер должен записывать только уникальные профили. Информация как правило это айди, телефон, имя, заголовок, описание, фото. Информация должна проверяться на наличие в таблице, если есть то не записываем. Если нет пишем в таблицу.

Работать должен со списком прокси.

Очень важно постоянный мониторинг сайта на наличие новых профилей.

Oferty 6 Dyskusje 4