Спаркувати всі домени регіону за весь час з бази expireddomainsСпарсить все домены региона за всё время с базы expireddomains
Розпочати список всіх доступних для реєстрації дрот доменів певного регіону з службами expireddomains.net за весь час (2016 по н. е.). На даний момент це 390к доменів.
Обмеження служби можна переглядати лише перших 50 сторінок на 200 посилань на сторінку (у загальному 10к) і обмеження на експорт даних у звіті на 4 к доменів з поточного фільтра. У сортуванні за датами дані тільки за останній місяць.
Рішення Призначити набір фільтрів, який дозволить побачити понад 90% доменів. Потрібно пройтися за максимальною кількістю фільтрів з вузькою вибіркою, щоб можна було вивантажити всі домени. Початкове рішення - зробити фільтр за всіма можливими комбінаціями 2-х латинських літер в доменному імені і робити таке пошук за рік з 2016 по 2022, вивантажуючи всі посилання з кожної сторінки пагінації (n+1, max51). За попередніми підрахунками, це потребуватиме близько 200 000 дій і потрібно буде перевірити роботу парсера на бан з IP (у випадку проблеми ми поставимо проксі).
Пропонуйте свою початкову зразкову вартість, так як. багато нюансів. Ви можете запропонувати найкращий варіант або логіку роботи фільтра, який ми з радістю розглянемо. Посилання на детальний алгоритм роботи фільтра, документ з максимальними подробицями і скріншотами сервісу, і всі подробиці щодо виконавців у особистих повідомленнях.
Очень важно!
Проект очень абузоустойчивый. Прошлый исполнитель не смог обойти баны, поэтому оцените возможности перед подачей заявки.
Задача
Получить список всех доступных для регистрации дроп доменов определенного региона с сервиса expireddomains.net за всё время (2016 - по н.в.). На данный момент это 390к доменов.
Ограничения
В сервисе можно посмотреть только первые 50 страниц по 200 ссылок на странице (в общем 10к) и накладывается ограничение на экспорт данных в отчете на 4к доменов с текущего фильтра. В сортировке по датам данные только за последний месяц.
Решение
Применить набор фильтров, который позволит увидеть более 90% доменов. Нужно пройтись по максимальному количеству фильтров с узкой выборкой, чтобы можно было выгрузить все домены в ней. Первоначальное решение – сделать фильтр по всем возможным комбинациям 2-х латинских букв в доменном имени и делать такой поиск за каждый год с 2016 по 2022, выгружая все ссылки с каждой страницы пагинации (n+1, max51). По предварительным расчетам на это потребуется около 200 000 действий и нужно будет протестировать работу парсера на бан по IP (в случае проблемы мы предоставим прокси).
Предлагайте свою начальную примерную стоимость, т.к. много нюансов. Возможно вы предложите лучший вариант или логику работы фильтра, который мы с радостью рассмотрим. Ссылки на подробно описанный алгоритм работы фильтра, документ с максимальными подробностями и скриншотами сервиса, и все подробности обсудим с исполнителями в личных сообщениях.
-
ставка прихована фрилансером
-
14 днів12 500 UAH
209 14 днів12 500 UAH
Здравствуйте!
Сниффером бегло просмотрел запросы которые отправляет сайт, вроде все предельно понятно.
Из основных задач:
1. Авторегистрация аккаунтов с подвержением почты.
2. Реализовать алгоритм работы выборки ссылок по фильтрам.
Пишу на c#, парсер сделаю на httpClient, по возможности сделаю его многопоточным.
Нужны будут IPv4 прокси.
… 350$
-
10 днів6000 UAH
1085 45 4 10 днів6000 UAH
Здравствуйте. Готов выполнить проект. Пишите, обсудим подробнее
-
ставка прихована фрилансером
-
Добрый, а у них API случаем нет?
-
Добрый вечер. Нет API. Поддержка не отвечает даже на запросы продажи базы.
-
Регистрация бесплатная? После нее открывается весь доступ?
-
Регистрация бесплатная. Доступ ограничен на месяц только на экспортирование результатов в файлы (далее он появляется но ограничен значением примерно в 10000 строк в день), именно поэтому и планируется парсить ссылки из кода.
Кишинів