LinkedIn Сборщик данных

Цель проекта: Цель исследования заключается в понимании Интернет-присутствия с целью разработки Identity Scraper, который может анализировать и компилировать информацию о человеке из общедоступных источников. Это исследовательское усилие будет структурировано на несколько фаз, каждая из которых предназначена для получения конкретных результатов, которые могут быть представлены на заседании совета директоров для демонстрации прогресса и практичности. Входные параметры могут включать имя человека, фотографию или номер телефона, в то время как ожидаемым результатом будет один или несколько профилей с указанием вероятности их подлинности.

Фазы проекта и результаты

Фаза 1: Пилотный проект - Сбор данных с LinkedIn

Цель: Провести пилотный проект, сосредоточившись на сборе данных с LinkedIn для идентификации лиц на основе предоставленных имен. В этой фазе также предусмотрена масштабируемая база данных для хранения собранных данных. В фазе 1 база данных будет хранить результаты поиска и также включать основную информацию, такую как идентификатор, источник данных и т. д.

Требования к вводу: Основное имя (например, Джон Доу).

Ожидаемый результат: Профили, соответствующие лицам, совпадающим с предоставленным именем, включая:

• Имя
• Фамилия
• Местоположение
• Профессия
• Фотография профиля
  
  

Результаты для Фазы 1:

• Отчет о сборе данных:
  • Подробный отчет о процессе сбора данных, включая используемые методы и инструменты.
  • Объяснение источников данных и законности сбора данных с LinkedIn.
• Компиляция профилей:
  • База данных структурированных профилей, соответствующих предоставленным именам
  • Каждый профиль должен включать указанные детали в соответствии с ожидаемым результатом
• Алгоритм вероятности оценки:
  • Разработка алгоритма для присвоения вероятности, указывающей на подлинность профилей.
  • Документация, объясняющая критерии и логику за алгоритмом оценки вероятности.
• Презентация перед советом директоров:
  • Комплексная презентация, подводящая итоги и демонстрирующая практичность Identity Scraper.
  • Визуалы и диаграммы, демонстрирующие эффективность и точность инструмента в идентификации профилей.

Если Фаза 1 будет успешной и утверждена, разработчикам будут поручены дополнительные фазы на основе показанных результатов в Фазе 1.

Дополнительные Фазы:

Фаза 2: API, сбор данных из поисковых систем, расширение на другие социальные платформы (например, Facebook, Twitter, Instagram) и публичные базы данных с включением дополнительных входных параметров (например, текущий работодатель, номер телефона и т. д.).

Фаза 3: Внедрение графического интерфейса пользователя и включение таблиц поиска, оптимизации поиска, расширенной аналитики и функций отчетности

Фаза 4: Улучшения алгоритма оценки вероятности на основе обратной связи и результатов.

Требования к фрилансерам:

Доказанный опыт в веб-скрапинге и анализе данных.

Владение языками программирования, такими как Python, Java или соответствующие альтернативы.

Владение RPA и инструментами автоматизации, такими как UiPath, BluePrism, Pega, AA или соответствующие альтернативы.

Знакомство с социальными платформами и API.

Способность предоставлять подробные отчеты и презентации.

Как подать заявку:

– Предоставьте краткое введение о себе и вашем опыте в подобных проектах.

– Включите примеры прошлых проектов, относящихся к веб-скрапингу и анализу данных.

– Опишите ваш предполагаемый подход к Фазе 1 проекта.

– Ответьте с вашей доступностью и ожидаемым сроком и бюджетом.