Скрипт для массовой проверки доменов - Ahrefs API
Задача: Создать скрипт по массовой проверке доменов с использованием сервиса Ahrefs API (есть платный аккаунт).
Сервис ahrefs позволяет проверять за 1 раз (10 секунд новый запрос) прямо из веба не более 200 доменов. На обработку 200 запросов уходит 2-3 секунды, в результате чего мы получаем таблицу, с которой возможно работать прямо из веба (сортировка по 24+ параметрам), также, мы можем сохранить ее в UTF-16 for Microsoft Excel.
Нам необходимо обрабатывать большие объемы доменов, речь о 300К+ доменов на предмет нужных нам параметров в виде условий (например, отбираем домены с параметром не менее X).
На входе у нас может быть список в виде csv файла. Сохранение и выборку доменов на начальном этапе мы будем производить только по 1 параметру, но в будущем нам возможно потребуется выборка и по другим параметрам.
На выходе мы должны получать CSV файлы с 15К строк, в последующем планируем загружать их в Google Sheets для ручного отбора доменов, пример загружен к проекту - batch_analysis_export.utf-16.csv, только для доменов с параметром Domain Rating (desc) не менее 5.
Описание веб сервиса https://help.ahrefs.com/en/articles/79506-how-many-domains-urls-can-i-analyse-with-the-batch-analysis-tool
Документация Ahrefs API: https://ahrefs.com/api/documentation
Также было бы интересно рассмотреть ваш альтернативный вариант по сохранению и последующей работе с доменами и их ручным отбором.
Applications 2
-
Добрый вечер, а уточните. 300к+ это грубо говоря за один раз вы такой список можете скормить? Или имеется ввиду образно за месяц
-
Здравствуйте, Дмитрий! Спасибо за проявленный интерес к нашему проекту.
Мы можем "скормить" и 300К за 1 раз, но лучше по пачками по 10-30К.
В Ahrefs есть лимиты и в течении 1 месяца для нашего тарифа мы можем произвести не более чем 300К запросов. -
Напишите в личку, если хотите, есть пару вопросов для уточнения.
-
Current freelance projects in the category Databases & SQL
Integration of Salesdrive and Dilovod
111 USD
Integration of Dilovod and Salesdrive for warehouses and inventory for different contractors. Integration of Salesdrive and Dilovod Databases & SQL ∙ 1 hour 14 minutes back ∙ 5 proposals |
Refinement of 1C UT 11 for Zebra TSD (RDP): different sound signals when scanning
22 USD
Configuration: 1C UT 11 Address warehouse Zebra TC26 TSD Work via RDP Product scanning is performed in receiving, placement, picking documents, and other warehouse operations. Current problem: Warehouse workers operate through the Zebra TSD. When scanning, they do not always… C#, Databases & SQL ∙ 17 hours 29 minutes back ∙ 5 proposals |
Heal the 1C configuration
111 USD
Configuration of CRM & ERP SmartCeiling (2.8.26.0) Protection via Registration Code. Registered until the end of the year. Databases & SQL ∙ 1 day 8 hours back ∙ 7 proposals |
Need a 1C specialist for refinements and development.I am looking for a 1C specialist for freelance collaboration. I am currently working with a contractor who provides support and maintenance for the 1C system. However, due to the contractor's workload, there is a need for prompt execution of additional tasks, improvements, and… Databases & SQL ∙ 6 days 7 hours back ∙ 12 proposals |
Restoring Instagram after a banOn March 3, 2026, my Instagram was blocked due to a violation of rules. I believe there has been some mistake, as the page was personal with photos and videos of my personal trips. I did not post any comments anywhere. I have sent several appeals. I cannot download my files… Databases & SQL, Web Programming ∙ 6 days 18 hours back ∙ 6 proposals |
Kishinev