Спарсить все домены региона за всё время с базы expireddomains

Очень важно!

Проект очень абузоустойчивый. Прошлый исполнитель не смог обойти баны, поэтому оцените возможности перед подачей заявки.

Задача

Получить список всех доступных для регистрации дроп доменов определенного региона с сервиса expireddomains.net за всё время (2016 - по н.в.). На данный момент это 390к доменов.

Ограничения

В сервисе можно посмотреть только первые 50 страниц по 200 ссылок на странице (в общем 10к) и накладывается ограничение на экспорт данных в отчете на 4к доменов с текущего фильтра. В сортировке по датам данные только за последний месяц.

Решение

Применить набор фильтров, который позволит увидеть более 90% доменов. Нужно пройтись по максимальному количеству фильтров с узкой выборкой, чтобы можно было выгрузить все домены в ней. Первоначальное решение – сделать фильтр по всем возможным комбинациям 2-х латинских букв в доменном имени и делать такой поиск за каждый год с 2016 по 2022, выгружая все ссылки с каждой страницы пагинации (n+1, max51). По предварительным расчетам на это потребуется около 200 000 действий и нужно будет протестировать работу парсера на бан по IP (в случае проблемы мы предоставим прокси).

Предлагайте свою начальную примерную стоимость, т.к. много нюансов. Возможно вы предложите лучший вариант или логику работы фильтра, который мы с радостью рассмотрим. Ссылки на подробно описанный алгоритм работы фильтра, документ с максимальными подробностями и скриншотами сервиса, и все подробности обсудим с исполнителями в личных сообщениях.