LinkedIn Skrobacz danych

Cel projektu: Celem badawczym jest zrozumienie obecności w Internecie, mające na celu opracowanie Scraper tożsamości, który może analizować i kompilować informacje dostępne o osobie z publicznie dostępnych źródeł. To przedsięwzięcie badawcze zostanie podzielone na kilka faz, z których każda ma na celu uzyskanie konkretnych rezultatów, które można przedstawić zarządowi, aby wykazać postęp i praktyczność. Parametry wejściowe mogą obejmować imię osoby, zdjęcie lub numer telefonu, podczas gdy oczekiwany wynik będzie składał się z jednego lub więcej profili wraz z wynikiem prawdopodobieństwa wskazującym ich autentyczność.

Fazy projektu i rezultaty

Faza 1: Projekt pilotażowy - Scraping danych z LinkedIn

Cel: Przeprowadzenie projektu pilotażowego skupiającego się na scrapowaniu danych z LinkedIn w celu zidentyfikowania osób na podstawie podanych imion. W tej fazie znajduje się również skalowalna baza danych do przechowywania zebranych danych. W fazie 1 baza danych będzie przechowywać wyniki wyszukiwania oraz podstawowe informacje takie jak identyfikator, źródło danych, itp.

Wymagania dotyczące danych wejściowych: Podstawowe imię (np. Jan Kowalski).

Oczekiwany wynik: Profile odpowiadające osobom posiadającym podane imię, zawierające:

• Imię
• Nazwisko
• Lokalizację
• Zawód
• Zdjęcie profilowe
  
  

Rezultaty dla Fazy 1:

• Raport z kolekcji danych:
  • Szczegółowy raport dotyczący procesu scrapowania danych, w tym użyte metody i narzędzia.
  • Wyjaśnienie źródeł danych i legalności scrapowania danych z LinkedIn.
• Kompilacja profili:
  • Baza danych ze zstrukturyzowanymi profilami odpowiadającymi podanym imionom
  • Każdy profil zawierać określone szczegóły zgodnie z oczekiwanym wynikiem
• Algorytm wyniku prawdopodobieństwa:
  • Opracowanie algorytmu do przypisywania wyniku prawdopodobieństwa wskazującego autentyczność profili.
  • Dokumentacja wyjaśniająca kryteria i logikę działania systemu oceniania prawdopodobieństwa.
• Prezentacja dla Zarządu:
  • Kompleksowa prezentacja podsumowująca wyniki i demonstrująca praktyczność Scraper tożsamości.
  • Wizualizacje i wykresy prezentujące skuteczność i dokładność narzędzia w identyfikowaniu profili.

Jeśli Faza 1 zakończy się sukcesem i zostanie zatwierdzona, kolejne fazy zostaną zlecone deweloperom na podstawie sukcesu wykazanego w Fazie 1.

Kolejne Fazy:

Faza 2: API, scrapowanie wyszukiwarek internetowych, rozszerzenie na inne platformy mediów społecznościowych (np. Facebook, Twitter, Instagram) oraz bazy danych publicznych z uwzględnieniem dodatkowych parametrów wejściowych (np. obecny pracodawca, numer telefonu, itp).

Faza 3: Wdrożenie interfejsu graficznego użytkownika i włączenie tabel wyszukiwania, optymalizacji wyszukiwania, zaawansowanych funkcji analitycznych i raportowania

Faza 4: Udoskonalenia algorytmu oceny prawdopodobieństwa na podstawie opinii i wyników.

Wymagania dla Freelancerów:

Udokumentowane doświadczenie w scrapowaniu stron internetowych i analizie danych.

Biegłość w językach programowania takich jak Python, Java lub odpowiednie alternatywy.

Biegłość w RPA i narzędziach automatyzacji takich jak UiPath, BluePrism, Pega, AA lub odpowiednie alternatywy.

Znajomość platform społecznościowych i API.

Umiejętność dostarczania szczegółowych raportów i prezentacji.

Jak aplikować:

– Przedstaw krótkie wprowadzenie o sobie i swoim doświadczeniu w podobnych projektach.

– Dołącz przykłady poprzednich projektów związanych ze scrapowaniem stron internetowych i analizą danych.

– Opisz swoje proponowane podejście do Fazy 1 projektu.

– Odpowiedz z informacją o swojej dostępności oraz oczekiwanym harmonogramie i budżecie.