Спарсить все домены региона за всё время с базы expireddomains
Очень важно!
Проект очень абузоустойчивый. Прошлый исполнитель не смог обойти баны, поэтому оцените возможности перед подачей заявки.
Задача
Получить список всех доступных для регистрации дроп доменов определенного региона с сервиса expireddomains.net за всё время (2016 - по н.в.). На данный момент это 390к доменов.
Ограничения
В сервисе можно посмотреть только первые 50 страниц по 200 ссылок на странице (в общем 10к) и накладывается ограничение на экспорт данных в отчете на 4к доменов с текущего фильтра. В сортировке по датам данные только за последний месяц.
Решение
Применить набор фильтров, который позволит увидеть более 90% доменов. Нужно пройтись по максимальному количеству фильтров с узкой выборкой, чтобы можно было выгрузить все домены в ней. Первоначальное решение – сделать фильтр по всем возможным комбинациям 2-х латинских букв в доменном имени и делать такой поиск за каждый год с 2016 по 2022, выгружая все ссылки с каждой страницы пагинации (n+1, max51). По предварительным расчетам на это потребуется около 200 000 действий и нужно будет протестировать работу парсера на бан по IP (в случае проблемы мы предоставим прокси).
Предлагайте свою начальную примерную стоимость, т.к. много нюансов. Возможно вы предложите лучший вариант или логику работы фильтра, который мы с радостью рассмотрим. Ссылки на подробно описанный алгоритм работы фильтра, документ с максимальными подробностями и скриншотами сервиса, и все подробности обсудим с исполнителями в личных сообщениях.
-
853 45 4 Здравствуйте. Готов выполнить проект. Пишите, обсудим подробнее
-
190 Здравствуйте!
Сниффером бегло просмотрел запросы которые отправляет сайт, вроде все предельно понятно.
Из основных задач:
1. Авторегистрация аккаунтов с подвержением почты.
2. Реализовать алгоритм работы выборки ссылок по фильтрам.
Пишу на c#, парсер сделаю на httpClient, по возможности сделаю его многопоточным.
Нужны будут IPv4 прокси.
… 350$
-
Добрый, а у них API случаем нет?
-
Регистрация бесплатная? После нее открывается весь доступ?
-
Актуальные фриланс-проекты в категории Python
Анализ данных и основы искусственного интеллекта на pythonПривет, ищу исполнителя с знанием python и библиотек для визуализации данных (matplotlib, seaborn и др.), также с знанием data science, data analysis, основ искусственного интеллекта (и немного высшей математики). Все это на базовом уровне. Нужна помощь с проектом, выполнение… Python, Базы данных ∙ 1 ставка |
Нужен разработчик Python Django |
Ищу ментора для проектирование архитектуры проекта похоже на Avito/OLX
1177 UAH
Хочу реализовать проект похожий на OLX, Avito (с использованием Python) но не имею опыта в таких проектов. Ищу ментора у кого есть опыт в разработке таких или схожих проектов, кто может направит на нужное русло, поможет с проектированием бэкенда такого проекта. Есть большой опыт… Python, Проектирование |
Веб-застосунок: Чати з віртуальними ШІ-персонажами (любий веб-стек)Мы ищем опытного разработчика для создания веб-приложения, которое позволит пользователям общаться с существующими в нашем каталоге виртуальными персонажами в формате ЧС-чата, а также создавать своих с помощью детализированных подсказок по аналогии с ChatGPT. Первичным… Python, Веб-программирование ∙ 3 ставки |
Модуль для Android
2000 UAH
|