Zbieranie danych z rejestru handlowego Ministerstwa Sprawiedliwości Słowacji
Parsowanie danych 1287 PLN
Opracowanie skryptu w Pythonie do automatyzacji zbierania danych z rejestru handlowego Ministerstwa Sprawiedliwości Słowackiej Republiki.
Skrypt wykorzystuje:
requests do pobierania stron internetowych,
BeautifulSoup do parsowania HTML,
ThreadPoolExecutor do wielowątkowości i przyspieszenia przetwarzania,
xlsxwriter i openpyxl do zapisywania danych w formacie Excel.
Główne zadania:
Obejść ograniczenia zasobu dotyczące liczby rekordów, które są zwracane w jednym zapytaniu.
Zrealizować iteracyjny i zoptymalizowany proces zbierania danych.
Wyniki:
Pomyślnie zebrano i przetworzono ponad 300 000 rekordów.
Rozwiązanie wykazało wysoką skalowalność i niezawodność.
Dane przygotowane w wygodnym formacie do analizy.
Skrypt wykorzystuje:
requests do pobierania stron internetowych,
BeautifulSoup do parsowania HTML,
ThreadPoolExecutor do wielowątkowości i przyspieszenia przetwarzania,
xlsxwriter i openpyxl do zapisywania danych w formacie Excel.
Główne zadania:
Obejść ograniczenia zasobu dotyczące liczby rekordów, które są zwracane w jednym zapytaniu.
Zrealizować iteracyjny i zoptymalizowany proces zbierania danych.
Wyniki:
Pomyślnie zebrano i przetworzono ponad 300 000 rekordów.
Rozwiązanie wykazało wysoką skalowalność i niezawodność.
Dane przygotowane w wygodnym formacie do analizy.