Предлагаю проект для программиста с большим опытом написания парсеров.
Исходные данные:
1. файл .sql с готовым списком url страниц, в коде которых парсер должен искать данные для парсинга
2. файл .sql с минус-словами, если в коде есть минус-слово - то парсер не парсит данные с данного url
3. файл .sql с плюс-словами, если в коде есть плюс-слово - то парсер парсит данные с данного url
4. список из 10 условий какой текст парсер должен парсить из кода url
Куда парсить данные:
в файл .sql записывается url и найденный текст
Условия работы парсера
1. Устойчивость - должен работать без остановок и ошибок, исключения - падение сервера, ручная остановка.
2. Сохранение промежуточных данных - данные должны записываться прямо в процессе работы парсера, чтобы после ручной или вынужденной остановки парсера, парсинг был продолжен с момента остановки.
3. Расположение парсера - VPS
4. Вывод простой панели управления на страницу: кнопки СТАРТ СТОП ПРОДОЛЖИТЬ УДАЛИТЬ. 30 последних строк результатов парсинга.
5. Скорость работы парсера - один поток, не более 5 секунд на одну страницу с кодом до 200 кб
Упрощения для работы
1. Согласно условиям парсится только текст без картинок
2. Парсер не должен вести поиск страниц - есть готовый список.
3. На страницах нет капчи
Подробное техзадание будет прилагаться.
