Мне требуется скрипт , который будет спарсивать электронные адреса с веб-сайта.
Для парсинга я планирую использовать расширение Chrome (https://chrome.google.com/webstore/detail/email-hunter/mbindhfolmpijhodmgkloeeppmkhpmhc), которое работает со всеми открытыми страницами в браузере.
Я хотел бы, чтобы скрипт был написан на предложенном вами языке программирования.
Прежде всего, я хочу отметить, что у меня есть мощный сервер с 64 ГБ памяти и процессором Intel Xeon D1540.
Вот веб-сайт, с которого необходимо спарсить данные:
https://download.cnet.com
Это онлайн-магазин, где продаются программы для разных операционных систем. Если перейти в раздел для Windows:
https://download.cnet.com/windows/
То на этой странице будет отображено 24 карточки программ, а также навигационная панель внизу. Для раздела Windows навигация показывает, что найдено 6 720 страниц (по 8 карточек на каждой странице).
Если кликнуть на карточку программы, будет указано имя разработчика данного ПО. При клике на имя компании откроется ещё одна страница, на которой будут показаны все программы этого разработчика, а главное — его доменное имя и электронная почта. Мне нужно спарсить электронную почту и доменное имя.
Разработка парсера не является обязательной, так как у меня есть расширение Chrome, которое само парсит адреса на странице (но если всё же будет и сам скрипет парсить, то тоже подойдет).
Теперь я расскажу пошагово, что именно должен делать скрипт:
1. Перейти по адресу:
https://download.cnet.com/windows/1/
На этой странице отобразится 8 карточек программ и навигационная панель внизу, содержащая 6 720 страниц. Необходимо открыть все 8 карточек по одной.
2. Перейти по названию компании.
3. При переходе на страницу, где отображены все продукты данной компании, будет указан адрес компании и электронная почта компании. Расширение браузера Chrome сможет найти электронную почту разработчика ПО.
4. Закрыть все 8 карточек, так как адреса электронной почты уже будут спарсены. Эти карточки больше не нужны.
5. Вернуться на страницу:
https://download.cnet.com/windows/1/
И открыть следующую страницу,
состоящую также из 8 карточек (напоминаю, таких страниц 6 720).
Повторять этот процесс необходимо до тех пор, пока все 6 720 страниц (https://download.cnet.com/windows/6720/) не будут открыты, и с каждой страницы будут спарсены электронные адреса.
Важно, чтобы скрипт был настраиваемым. Например, если работа скрипта была прервана на странице https://download.cnet.com/windows/253/, то в скрипте должна быть возможность указать эту страницу, и скрипт должен продолжить работу с этой страницы, чтобы расширение могло парсить адреса электронной почты.
Если ваш скрипт сможет автоматически получать электронные адреса и адреса разработчиков с этой страницы, то это будет ещё лучше.
Также было бы замечательно, если скрипт позволял настраивать скорость открытия и закрытия страниц. Просто должна быть возможность изменить эти настройки в самом скрипте.
Пожалуйста, предложите язык программирования, на котором будет написан этот скрипт. У меня есть как Windows, так и Linux, точнее панель BrainICP, но предпочтительнее, чтобы скрипт работал на Windows.
Вот скриншот, на котором я пошагово показал, что именно нужно сделать. Если мой текст был непонятным, это поможет вам лучше понять задачу.
Вот страница со скринами
https://office.marvel-cloud.com/tmp/parsing/index.html
