Zadanie programistyczne: Opracowanie algorytmu do parsowania stron internetowych
Celem zadania:
Opracowanie algorytmu do automatycznego parsowania stron internetowych, który będzie zbierał i przetwarzał dane z określonych stron.
Wymagania:
1. Wybór języka programowania:
Specjalista powinien używać jednego z następujących języków: Python, JavaScript, Ruby lub innego po uzgodnieniu.
2. Funkcjonalność:
- Algorytm powinien umieć wydobywać dane z określonej strony (lub stron).
- Należy skonfigurować możliwość wydobywania danych z różnych struktur HTML.
- Parser powinien mieć możliwość przetwarzania zarówno statycznych, jak i dynamicznych stron internetowych (jeśli dotyczy).
- Przetwarzanie danych: zebrane dane powinny być oczyszczone i uporządkowane (na przykład w formacie CSV lub JSON).
3. Parametry parsowania:
- Wskazanie docelowych elementów do wydobycia (na przykład, nagłówki, ceny, opisy itp.).
- Możliwość ograniczenia głębokości parsowania (na przykład, tylko strona główna lub wszystkie strony witryny).
4. Obsługa błędów:
- Zaimplementować mechanizmy obsługi wyjątków na wypadek, gdy strona jest niedostępna lub struktura strony została zmieniona.
- Logowanie: prowadzić dziennik błędów i udanych operacji parsowania.
5. Dokumentacja:
Cały kod powinien być dobrze udokumentowany. Należy dostarczyć plik README z instrukcją instalacji i użytkowania parsera.
6. Termin realizacji:
Do uzgodnienia
8. Dodatkowe życzenia:
Możliwość skalowania algorytmu do pracy z dużą liczbą stron. Optymalizacja wydajności parsera.
Kryteria oceny:
- Jakość i czytelność kodu.
- Pełność realizacji wymagań.
- Efektywność algorytmu.
- Poziom obsługi błędów i odporność na awarie.
Podsumowanie:
Specjalista powinien dostarczyć przykłady zrealizowanych zadań związanych z parsowaniem oraz rekomendacje od poprzednich klientów.