Скрипт для массовой проверки доменов - Ahrefs API
Задача: Создать скрипт по массовой проверке доменов с использованием сервиса Ahrefs API (есть платный аккаунт).
Сервис ahrefs позволяет проверять за 1 раз (10 секунд новый запрос) прямо из веба не более 200 доменов. На обработку 200 запросов уходит 2-3 секунды, в результате чего мы получаем таблицу, с которой возможно работать прямо из веба (сортировка по 24+ параметрам), также, мы можем сохранить ее в UTF-16 for Microsoft Excel.
Нам необходимо обрабатывать большие объемы доменов, речь о 300К+ доменов на предмет нужных нам параметров в виде условий (например, отбираем домены с параметром не менее X).
На входе у нас может быть список в виде csv файла. Сохранение и выборку доменов на начальном этапе мы будем производить только по 1 параметру, но в будущем нам возможно потребуется выборка и по другим параметрам.
На выходе мы должны получать CSV файлы с 15К строк, в последующем планируем загружать их в Google Sheets для ручного отбора доменов, пример загружен к проекту - batch_analysis_export.utf-16.csv, только для доменов с параметром Domain Rating (desc) не менее 5.
Описание веб сервиса https://help.ahrefs.com/en/articles/79506-how-many-domains-urls-can-i-analyse-with-the-batch-analysis-tool
Документация Ahrefs API: https://ahrefs.com/api/documentation
Также было бы интересно рассмотреть ваш альтернативный вариант по сохранению и последующей работе с доменами и их ручным отбором.
Додатки 2
-
Добрый вечер, а уточните. 300к+ это грубо говоря за один раз вы такой список можете скормить? Или имеется ввиду образно за месяц
-
Здравствуйте, Дмитрий! Спасибо за проявленный интерес к нашему проекту.
Мы можем "скормить" и 300К за 1 раз, но лучше по пачками по 10-30К.
В Ahrefs есть лимиты и в течении 1 месяца для нашего тарифа мы можем произвести не более чем 300К запросов. -
Напишите в личку, если хотите, есть пару вопросов для уточнения.
-
Актуальні фриланс-проєкти в категорії PHP
Спеціаліст по HoroshopПотрібен спеціаліст який зможе правильно налаштувати товарний Feed. Проблема: Зараз понад 13 000 товарів вивантажуються з однаковим значенням типу (напр. «все для манікюру та педикюру»). Через це в Google Ads неможливо розділити товари на сегменти й задати різні рекламні… PHP, Супровід сайтів ∙ 11 годин 53 хвилини тому ∙ 16 ставок |
Зробити щоб листи про замовлення з магазину не потрапляли в спамЗараз є магазин на опенкарті, листи про замовлення потрапляють до спаму, треба зробити так щоб потрапляли в Вхідні (ukr.net gmail) перевірити. хостинг написав: Погана доставка електронної пошти може бути пов'язана з низькою репутацією відправника - IP або домену. У такому… PHP, Веб-програмування ∙ 1 день 13 годин тому ∙ 47 ставок |
Перенести повністю готову адаптивну HTML5-структуру в WordPress.
12 000 UAH
Я шукаю досвідченого WordPress-розробника, який зможе перетворити наш ретельно підготовлений статичний HTML5/CSS3 код у високопродуктивну кастомну WordPress-тему. Фронтенд уже практично готовий (приблизно 99%): семантична розмітка, метадані та мультимовна структура (hreflang)… CMS, PHP ∙ 4 дні 14 годин тому ∙ 69 ставок |
Інтеграція GoPosПривіт, робив хтось інтеграцію GoPos з кастомним сайтом для ресторану в Польщі? Потрібна допомога, у них дуже скудна документація, є тільки swagger і той без описів https://app.gopos.io/doc/swagger-ui/index.html Суть така, використовували від них сайт для онлайн замовлень, якщо… PHP, Веб-програмування ∙ 5 днів 6 годин тому ∙ 26 ставок |
Прописати мета дані АЛЬТ за допомогою ІІСайт на Laravel, на сайті багато зображень, для яких потрібно прописати коректні за семантикою та релевантні для сторінки АЛЬТ описання зображення в автоматичному режимі, з можливістю перевірки AI та машинне навчання, PHP ∙ 6 днів 3 години тому ∙ 35 ставок |
Кишинів