Задание по программированию: Разработка алгоритма для парсинга сайтов
Цель задания:
Разработать алгоритм для автоматического парсинга веб-страниц, который будет собирать и обрабатывать данные с указанных сайтов.
Требования:
1. Выбор языка программирования:
Специалист должен использовать один из следующих языков: Python, JavaScript, Ruby или другой по согласованию.
2. Функционал:
- Алгоритм должен уметь извлекать данные с заданного сайта (или сайтов).
- Необходимо настроить возможность извлечения данных из разных HTML-структур.
- Парсер должен иметь возможность обрабатывать как статические, так и динамические веб-страницы (если применимо).
- Обработка данных: собранные данные должны быть очищены и структурированы (например, в формате CSV или JSON).
3. Параметры парсинга:
- Указание целевых элементов для извлечения (например, заголовки, цены, описания и т. д.).
- Возможность ограничения по глубине парсинга (например, только главная страница или все страницы сайта).
4. Обработка ошибок:
- Реализовать механизмы обработки исключений для случаев, когда сайт недоступен или структура страницы изменена.
- Логирование: вести журнал ошибок и успешных операций парсинга.
5. . Документация:
Весь код должен быть хорошо документирован. Необходимо предоставить README файл с инструкцией по установке и использованию парсера.
6. Срок выполнения:
Обсуждается
8. Дополнительные пожелания:
Возможность масштабирования алгоритма для работы с большим количеством сайтов. Оптимизация производительности парсера.
Критерии оценки:
- Качество и читаемость кода.
- Полнота выполнения требований.
- Эффективность алгоритма.
- Уровень обработки ошибок и устойчивость к сбоям.
Заключение:
Специалист должен предоставить примеры выполненных задач по парсингу и рекомендации от предыдущих клиентов.