Перевірка доменів

Здравствуйте, подойдет Python?

Андрей Сивенко 3 березня 2025

здравствуйте. нет.

это худший выбор для многопоточности

Доброго дня! Як на вхід подаватимуться списоки доменів – файл (TXT, CSV, JSON), база (PostgreSQL, MySQL, SQLite) чи API?

Які протоколи перевіряти: тільки HTTP/HTTPS чи ще FTP? Що зберігати – код відповіді, весь ланцюжок редиректів, час відгуку?

Яка потрібна швидкість? Скільки доменів на хвилину/годину? Разова перевірка чи постійний моніторинг?

Де це запускатиметься – локально чи на сервері? Чи є обмеження по ресурсах (CPU, RAM)?

Андрей Сивенко 3 березня 2025

здравствуйте.

- список доменов в файлах тхт, они каждый день обновляются.

- бд PostgreSQL

- HTTP/HTTPS, сохраняем ответ и цепочку редиректов. это основа, но возможны добавления как нс, днс, айпи. но главное - это ответы и редиректы.

- скорость нужно максимальная, от 100 шт в сек, мониторинг регулярный (например, 1 раз в мес по базе на 265 млн записей).

сервер в данный момент такой: 

Процессор  AMD Ryzen 5 3600 6-Core Processor 4093.575 MHz (12 cores)

Оперативная память  8074 / 63791 MB

Размер дискового пространства  436.74 GB

но по необходимости возможны варианты.
Тут самый важный момент - многопоточность. Без нее это будет проверяться годами, а ежедневно в бд добавляется и из нее удаляется 100тыс доменов.

Ну одне раз перевірити, а а друге кожен місяць, швидше за все через місяць буде другий результат так як вас забанить клоуфай і тому подібні системи

а потім ще наверно хост провайдер по ідеї, коли до нього буде приходити жалоби

Це похоже на якийсь ддос на днс сервера, днс теж можуть забанити, і явно вони не дуже будуть довольні....Непонятно наскільки це законо...

Как быстро вы хотите что б прошла проверка если у вас +- 265 млн доменов?

Андрей Сивенко 3 березня 2025

до месяца

могу на Rust сделать 

Могу попробовать сделать на с++, напишите в лс какие у вас бюджеты и сроки для понимания