Завдання з програмування: Розробка алгоритму для парсингу сайтів
Мета завдання:
Розробити алгоритм для автоматичного парсингу веб-сторінок, який буде збирати та обробляти дані з вказаних сайтів.
Вимоги:
1. Вибір мови програмування:
Спеціаліст повинен використовувати одну з наступних мов: Python, JavaScript, Ruby або іншу за погодженням.
2. Функціонал:
- Алгоритм повинен вміти витягувати дані з заданого сайту (або сайтів).
- Необхідно налаштувати можливість витягнення даних з різних HTML-структур.
- Парсер повинен мати можливість обробляти як статичні, так і динамічні веб-сторінки (якщо застосовно).
- Обробка даних: зібрані дані повинні бути очищені та структуровані (наприклад, у форматі CSV або JSON).
3. Параметри парсингу:
- Вказівка цільових елементів для витягнення (наприклад, заголовки, ціни, описи тощо).
- Можливість обмеження за глибиною парсингу (наприклад, тільки головна сторінка або всі сторінки сайту).
4. Обробка помилок:
- Реалізувати механізми обробки виключень для випадків, коли сайт недоступний або структура сторінки змінена.
- Логування: вести журнал помилок та успішних операцій парсингу.
5. Документація:
Весь код повинен бути добре документований. Необхідно надати README файл з інструкцією по установці та використанню парсера.
6. Термін виконання:
Обговорюється
8. Додаткові побажання:
Можливість масштабування алгоритму для роботи з великою кількістю сайтів. Оптимізація продуктивності парсера.
Критерії оцінки:
- Якість та читабельність коду.
- Повнота виконання вимог.
- Ефективність алгоритму.
- Рівень обробки помилок та стійкість до збоїв.
Висновок:
Спеціаліст повинен надати приклади виконаних завдань з парсингу та рекомендації від попередніх клієнтів.