Скрипт открытия страниц
1480 UAHМне требуется скрипт , который будет спарсивать электронные адреса с веб-сайта.
Для парсинга я планирую использовать расширение Chrome (https://chrome.google.com/webstore/detail/email-hunter/mbindhfolmpijhodmgkloeeppmkhpmhc), которое работает со всеми открытыми страницами в браузере.
Я хотел бы, чтобы скрипт был написан на предложенном вами языке программирования.
Прежде всего, я хочу отметить, что у меня есть мощный сервер с 64 ГБ памяти и процессором Intel Xeon D1540.
Вот веб-сайт, с которого необходимо спарсить данные:
https://download.cnet.com
Это онлайн-магазин, где продаются программы для разных операционных систем. Если перейти в раздел для Windows:
https://download.cnet.com/windows/
То на этой странице будет отображено 24 карточки программ, а также навигационная панель внизу. Для раздела Windows навигация показывает, что найдено 6 720 страниц (по 8 карточек на каждой странице).
Если кликнуть на карточку программы, будет указано имя разработчика данного ПО. При клике на имя компании откроется ещё одна страница, на которой будут показаны все программы этого разработчика, а главное — его доменное имя и электронная почта. Мне нужно спарсить электронную почту и доменное имя.
Разработка парсера не является обязательной, так как у меня есть расширение Chrome, которое само парсит адреса на странице (но если всё же будет и сам скрипет парсить, то тоже подойдет).
Теперь я расскажу пошагово, что именно должен делать скрипт:
1. Перейти по адресу:
https://download.cnet.com/windows/1/
На этой странице отобразится 8 карточек программ и навигационная панель внизу, содержащая 6 720 страниц. Необходимо открыть все 8 карточек по одной.
2. Перейти по названию компании.
3. При переходе на страницу, где отображены все продукты данной компании, будет указан адрес компании и электронная почта компании. Расширение браузера Chrome сможет найти электронную почту разработчика ПО.
4. Закрыть все 8 карточек, так как адреса электронной почты уже будут спарсены. Эти карточки больше не нужны.
5. Вернуться на страницу:
https://download.cnet.com/windows/1/
И открыть следующую страницу,
состоящую также из 8 карточек (напоминаю, таких страниц 6 720).
Повторять этот процесс необходимо до тех пор, пока все 6 720 страниц (https://download.cnet.com/windows/6720/) не будут открыты, и с каждой страницы будут спарсены электронные адреса.
Важно, чтобы скрипт был настраиваемым. Например, если работа скрипта была прервана на странице https://download.cnet.com/windows/253/, то в скрипте должна быть возможность указать эту страницу, и скрипт должен продолжить работу с этой страницы, чтобы расширение могло парсить адреса электронной почты.
Если ваш скрипт сможет автоматически получать электронные адреса и адреса разработчиков с этой страницы, то это будет ещё лучше.
Также было бы замечательно, если скрипт позволял настраивать скорость открытия и закрытия страниц. Просто должна быть возможность изменить эти настройки в самом скрипте.
Пожалуйста, предложите язык программирования, на котором будет написан этот скрипт. У меня есть как Windows, так и Linux, точнее панель BrainICP, но предпочтительнее, чтобы скрипт работал на Windows.
Вот скриншот, на котором я пошагово показал, что именно нужно сделать. Если мой текст был непонятным, это поможет вам лучше понять задачу.
Вот страница со скринами
https://office.marvel-cloud.com/tmp/parsing/index.html
Приложения 1
Отзыв заказчика о сотрудничестве с Олегом К.
Скрипт открытия страницОтзыв такой. Что парень честный и старается выполнить больше чем обещает. Я попросил и он дополнил. Рекомендую этот парня. Не пожалеете
Отзыв фрилансера о сотрудничестве с Абдурахманом Алиевым
Скрипт открытия страницВсе супер, всегда на связи, четкое тз, знает чего хочет) Спасибо большое за возможность поработать над этим проектом.
-
2 дня2242 UAH
2731 76 1 2 дня2242 UAHДоброго дня . Разработаем скрипт на Python. Удаляет все ссылки на сайт и почту, многопоточный.
-
1 день1121 UAH
102 2 0 1 день1121 UAHPython с Selenium и расширением гугла
==========================================
-
Победившая ставка3 дня1480 UAH
1418 46 0 Победившая ставка3 дня1480 UAHЗдравствуйте! Могу написать парсер на python который будет собирать данные которые вам нужны. Пишите в личку обсудим детали))
-
Если кратко:
Скрипт перебирает страницы с заданного номера до последней, открывает карточки на каждой странице, переходит по ссылкам на профиль каждой компании, извлекает email и адрес компании и выводит их. После этого скрипт возвращается обратно на страницу со списком и переходит к следующей карточке? -
А вам нужно именно раздел программ для Виндовса спарсить или вообще все приложения?
-
Актуальные фриланс-проекты в категории Javascript и Typescript
Разработка платформы AM Mobility (автосервис, парковка, страхование, аренда автомобилей)
259 488 UAH
Ищем команду или опытного Full Stack разработчика для создания MVP платформы AM Mobility. AM Mobility — это единая цифровая экосистема для автомобилистов, объединяющая в одном приложении и веб-платформе: парковку; автосервис; шиномонтаж; автомойку; аренду автомобилей;… Javascript и Typescript, Веб-программирование ∙ 2 часа 26 минут назад ∙ 60 ставок |
Gsap анимации
1000 UAH
Добрый день. Нужно внести правки в текущем проекте. Нужен специалист, который хорошо работает на gsap/lenis Нужно сделать анимацию карточек. Подробное ТЗ здесь: https://www.figma.com/design/5bLEJudN5LPpB9ZSoJa2Eb/Untitled?m=auto&t=qwyluUctL1lrMNvh-6 Нужно… Javascript и Typescript, Веб-программирование ∙ 8 часов 11 минут назад ∙ 12 ставок |
Коммерческая on-premise платформа видеосвязи «ViM»Требуется разработать on-premise систему видеосвязи с базовым расчетом на 100 одновременных подключений (10 изолированных комнат по 10 человек). Платформа должна иметь заложенную архитектуру для будущего горизонтального масштабирования до 1000 пользователей путем добавления… Javascript и Typescript, Веб-программирование ∙ 1 день 3 часа назад ∙ 26 ставок |
Ищу наставника по Claude Code для запуска веб-проекта с нуля**Кратко о задаче:** Я новичок без опыта в программировании. Есть готовое ТЗ на разработку сайта (42 страницы, Next.js, PostgreSQL). Хочу реализовать его самостоятельно с помощью Claude Code - нужен специалист, который настроит среду и научит меня работать с инструментом. ---… Javascript и Typescript, Обучение ∙ 2 дня 7 часов назад ∙ 18 ставок |
Обновление дизайна на сайтеНужно обновить дизайн существующего сайта используя HTML, CSS, JS: освежить внешний вид, сделать его современным и адаптивным под мобильные устройства. Требуется добавить плавные анимации и интерактивные элементы . HTML и CSS верстка, Javascript и Typescript ∙ 3 дня назад ∙ 89 ставок |