Скрипт для массовой проверки доменов - Ahrefs API
Задача: Создать скрипт по массовой проверке доменов с использованием сервиса Ahrefs API (есть платный аккаунт).
Сервис ahrefs позволяет проверять за 1 раз (10 секунд новый запрос) прямо из веба не более 200 доменов. На обработку 200 запросов уходит 2-3 секунды, в результате чего мы получаем таблицу, с которой возможно работать прямо из веба (сортировка по 24+ параметрам), также, мы можем сохранить ее в UTF-16 for Microsoft Excel.
Нам необходимо обрабатывать большие объемы доменов, речь о 300К+ доменов на предмет нужных нам параметров в виде условий (например, отбираем домены с параметром не менее X).
На входе у нас может быть список в виде csv файла. Сохранение и выборку доменов на начальном этапе мы будем производить только по 1 параметру, но в будущем нам возможно потребуется выборка и по другим параметрам.
На выходе мы должны получать CSV файлы с 15К строк, в последующем планируем загружать их в Google Sheets для ручного отбора доменов, пример загружен к проекту - batch_analysis_export.utf-16.csv, только для доменов с параметром Domain Rating (desc) не менее 5.
Описание веб сервиса https://help.ahrefs.com/en/articles/79506-how-many-domains-urls-can-i-analyse-with-the-batch-analysis-tool
Документация Ahrefs API: https://ahrefs.com/api/documentation
Также было бы интересно рассмотреть ваш альтернативный вариант по сохранению и последующей работе с доменами и их ручным отбором.
Приложения 2
-
Добрый вечер, а уточните. 300к+ это грубо говоря за один раз вы такой список можете скормить? Или имеется ввиду образно за месяц
-
Здравствуйте, Дмитрий! Спасибо за проявленный интерес к нашему проекту.
Мы можем "скормить" и 300К за 1 раз, но лучше по пачками по 10-30К.
В Ahrefs есть лимиты и в течении 1 месяца для нашего тарифа мы можем произвести не более чем 300К запросов. -
Напишите в личку, если хотите, есть пару вопросов для уточнения.
-
Актуальные фриланс-проекты в категории PHP
Исправить CLSНеобходимо исправить Cumulative Layout Shift через код PageSpeed не видит этой проблемы, но через Google Chrome видно, что есть смещение макета для компьютерной версии страницы В ответе Google Search появилась ошибка касательно скорости компьютерной версии Необходимо… PHP, Веб-программирование ∙ 1 день 5 часов назад ∙ 26 ставок |
Перенести полностью готовую адаптивную HTML5-структуру в WordPress.
12 000 UAH
Я ищу опытного WordPress-разработчика, который сможет преобразовать наш тщательно подготовленный статический HTML5/CSS3 код в высокопроизводимую кастомную WordPress-тему. Фронтенд уже практически готов (примерно 99%): семантическая разметка, метаданные и мультиязычная структура… CMS, PHP ∙ 1 день 8 часов назад ∙ 61 ставка |
Интеграция GoPosПривет, делал кто нибудь интеграцию GoPos с кастомным сайтом для ресторана в Польше? Нужна помощь, у них очень скудная документация, есть только swagger и тот без описаний https://app.gopos.io/doc/swagger-ui/index.html Суть такая, использовали от них сайт для онлайн заказов,… PHP, Веб-программирование ∙ 2 дня назад ∙ 25 ставок |
Прописать мета данные АЛЬТ при помощи ИИСайт на Laravel , на сайте много изображений, для которых нужно прописать корректные по семантики и релевантные для странице АЛЬТ описание изображения в автоматическом режиме, с возможностью проверки AI и машинное обучение, PHP ∙ 2 дня 21 час назад ∙ 34 ставки |
Нужен разработчик для завершения и интеграции проекта по автоматическому сбору и обработке данных
700 UAH
Основная часть парсера уже реализована. Парсер работает на Windows-среде через Microsoft Edge: сайт имеет антибот-защиту, поэтому сбор данных выполняется не прямыми HTTP-запросами, а через живую браузерную сессию. Скрипты управляют открытой вкладкой Edge через Chrome DevTools… PHP, Веб-программирование ∙ 3 дня 3 часа назад ∙ 25 ставок |
Кишинев