Uniwersalne narzędzie CLI do skanowania stron internetowych (Python, OOP)
Opracowałem elastyczne narzędzie CLI do parsowania danych z zasobów internetowych. Zamiast pisania hardcodu dla każdej strony, narzędzie przyjmuje docelowy URL oraz selektory (tagi HTML i klasy) bezpośrednio przez interaktywny terminal, dynamicznie wyciągając treść.
Szczegóły techniczne:
Architektura: Ścisłe podejście OOP. Logika podzielona na niezależne moduły: Scraper (rdzeń), Exporter (dane) oraz CLI.
Interfejs: Interaktywny terminal oparty na bibliotece rich (kolorowe logowanie, paski postępu, podgląd wyników w formie tabeli).
Eksport: Wsparcie dla zapisywania zebranych danych w formacie maszynowo czytelnym .csv (przez pandas) lub w sformatowanym raporcie tekstowym .txt (tabele ASCII).
Niezawodność: Obsługa błędów sieciowych oraz walidacja wejścia.
#python #Backend #CLI #beautifulsoup4 #pandas
Szczegóły techniczne:
Architektura: Ścisłe podejście OOP. Logika podzielona na niezależne moduły: Scraper (rdzeń), Exporter (dane) oraz CLI.
Interfejs: Interaktywny terminal oparty na bibliotece rich (kolorowe logowanie, paski postępu, podgląd wyników w formie tabeli).
Eksport: Wsparcie dla zapisywania zebranych danych w formacie maszynowo czytelnym .csv (przez pandas) lub w sformatowanym raporcie tekstowym .txt (tabele ASCII).
Niezawodność: Obsługa błędów sieciowych oraz walidacja wejścia.
#python #Backend #CLI #beautifulsoup4 #pandas