Cel projektu: Celem badawczym jest zrozumienie obecności w Internecie, mające na celu opracowanie Scraper tożsamości, który może analizować i kompilować informacje dostępne o osobie z publicznie dostępnych źródeł. To przedsięwzięcie badawcze zostanie podzielone na kilka faz, z których każda ma na celu uzyskanie konkretnych rezultatów, które można przedstawić zarządowi, aby wykazać postęp i praktyczność. Parametry wejściowe mogą obejmować imię osoby, zdjęcie lub numer telefonu, podczas gdy oczekiwany wynik będzie składał się z jednego lub więcej profili wraz z wynikiem prawdopodobieństwa wskazującym ich autentyczność.
Fazy projektu i rezultaty
Faza 1: Projekt pilotażowy - Scraping danych z LinkedIn
Cel: Przeprowadzenie projektu pilotażowego skupiającego się na scrapowaniu danych z LinkedIn w celu zidentyfikowania osób na podstawie podanych imion. W tej fazie znajduje się również skalowalna baza danych do przechowywania zebranych danych. W fazie 1 baza danych będzie przechowywać wyniki wyszukiwania oraz podstawowe informacje takie jak identyfikator, źródło danych, itp.
Wymagania dotyczące danych wejściowych: Podstawowe imię (np. Jan Kowalski).
Oczekiwany wynik: Profile odpowiadające osobom posiadającym podane imię, zawierające:
- Imię
- Nazwisko
- Lokalizację
- Zawód
- Zdjęcie profilowe
Rezultaty dla Fazy 1:
- Raport z kolekcji danych:
- Szczegółowy raport dotyczący procesu scrapowania danych, w tym użyte metody i narzędzia.
- Wyjaśnienie źródeł danych i legalności scrapowania danych z LinkedIn.
- Kompilacja profili:
- Baza danych ze zstrukturyzowanymi profilami odpowiadającymi podanym imionom
- Każdy profil zawierać określone szczegóły zgodnie z oczekiwanym wynikiem
- Algorytm wyniku prawdopodobieństwa:
- Opracowanie algorytmu do przypisywania wyniku prawdopodobieństwa wskazującego autentyczność profili.
- Dokumentacja wyjaśniająca kryteria i logikę działania systemu oceniania prawdopodobieństwa.
- Prezentacja dla Zarządu:
- Kompleksowa prezentacja podsumowująca wyniki i demonstrująca praktyczność Scraper tożsamości.
- Wizualizacje i wykresy prezentujące skuteczność i dokładność narzędzia w identyfikowaniu profili.
Jeśli Faza 1 zakończy się sukcesem i zostanie zatwierdzona, kolejne fazy zostaną zlecone deweloperom na podstawie sukcesu wykazanego w Fazie 1.
Kolejne Fazy:
Faza 2: API, scrapowanie wyszukiwarek internetowych, rozszerzenie na inne platformy mediów społecznościowych (np. Facebook, Twitter, Instagram) oraz bazy danych publicznych z uwzględnieniem dodatkowych parametrów wejściowych (np. obecny pracodawca, numer telefonu, itp).
Faza 3: Wdrożenie interfejsu graficznego użytkownika i włączenie tabel wyszukiwania, optymalizacji wyszukiwania, zaawansowanych funkcji analitycznych i raportowania
Faza 4: Udoskonalenia algorytmu oceny prawdopodobieństwa na podstawie opinii i wyników.
Wymagania dla Freelancerów:
Udokumentowane doświadczenie w scrapowaniu stron internetowych i analizie danych.
Biegłość w językach programowania takich jak Python, Java lub odpowiednie alternatywy.
Biegłość w RPA i narzędziach automatyzacji takich jak UiPath, BluePrism, Pega, AA lub odpowiednie alternatywy.
Znajomość platform społecznościowych i API.
Umiejętność dostarczania szczegółowych raportów i prezentacji.
Jak aplikować:
– Przedstaw krótkie wprowadzenie o sobie i swoim doświadczeniu w podobnych projektach.
– Dołącz przykłady poprzednich projektów związanych ze scrapowaniem stron internetowych i analizą danych.
– Opisz swoje proponowane podejście do Fazy 1 projektu.
– Odpowiedz z informacją o swojej dostępności oraz oczekiwanym harmonogramie i budżecie.
