Веб-скрейпер для сбора профильных данных Kaggle

Этот проект реализует веб-скрейпер на основе Scrapy, который автоматически собирает детальную информацию о профилях пользователей Kaggle. Он анализирует страницы профилей, извлекает данные о имени, местоположении, должности, активности в соревнованиях, наборах данных, ноутбуках, дискуссиях, а также информацию о подписчиках и подписках. Дополнительно парсер находит и классифицирует внешние ссылки, такие как GitHub, LinkedIn, Twitter или персональный вебсайт. Благодаря функциям обработки HTML скрейпер корректно извлекает биографические данные. Проект обеспечивает эффективный сбор и структуризацию данных для дальнейшего анализа активности пользователей Kaggle.