Скрипт для массовой проверки доменов - Ahrefs API
Задача: Создать скрипт по массовой проверке доменов с использованием сервиса Ahrefs API (есть платный аккаунт).
Сервис ahrefs позволяет проверять за 1 раз (10 секунд новый запрос) прямо из веба не более 200 доменов. На обработку 200 запросов уходит 2-3 секунды, в результате чего мы получаем таблицу, с которой возможно работать прямо из веба (сортировка по 24+ параметрам), также, мы можем сохранить ее в UTF-16 for Microsoft Excel.
Нам необходимо обрабатывать большие объемы доменов, речь о 300К+ доменов на предмет нужных нам параметров в виде условий (например, отбираем домены с параметром не менее X).
На входе у нас может быть список в виде csv файла. Сохранение и выборку доменов на начальном этапе мы будем производить только по 1 параметру, но в будущем нам возможно потребуется выборка и по другим параметрам.
На выходе мы должны получать CSV файлы с 15К строк, в последующем планируем загружать их в Google Sheets для ручного отбора доменов, пример загружен к проекту - batch_analysis_export.utf-16.csv, только для доменов с параметром Domain Rating (desc) не менее 5.
Описание веб сервиса https://help.ahrefs.com/en/articles/79506-how-many-domains-urls-can-i-analyse-with-the-batch-analysis-tool
Документация Ahrefs API: https://ahrefs.com/api/documentation
Также было бы интересно рассмотреть ваш альтернативный вариант по сохранению и последующей работе с доменами и их ручным отбором.
Załączniki 2
-
Добрый вечер, а уточните. 300к+ это грубо говоря за один раз вы такой список можете скормить? Или имеется ввиду образно за месяц
-
Здравствуйте, Дмитрий! Спасибо за проявленный интерес к нашему проекту.
Мы можем "скормить" и 300К за 1 раз, но лучше по пачками по 10-30К.
В Ahrefs есть лимиты и в течении 1 месяца для нашего тарифа мы можем произвести не более чем 300К запросов. -
Напишите в личку, если хотите, есть пару вопросов для уточнения.
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Power BI
57 PLN
Dashboard działa na serwerze Google, trzeba przenieść całą logikę + kod Jakie umiejętności są potrzebne: wdrażanie procesów ETL na serwerze Linux + praca z BigQuery i Postgre Jest działający kod, który działa na Google, gdzie znajduje się sama baza danych, trzeba przenieść na… Python, Bazy danych i SQL ∙ 2 dni 8 godzin temu ∙ 15 ofert |
Potrzebny specjalista 1C do poprawek i rozwojuSzukam specjalisty z 1C do współpracy na freelansie. Obecnie już współpracuję z wykonawcą, który zapewnia wsparcie i obsługę systemu 1C. Jednak z powodu obciążenia wykonawcy pojawia się potrzeba szybkiego wykonania dodatkowych zadań, poprawek oraz opracowania nowej… Bazy danych i SQL ∙ 4 dni 8 godzin temu ∙ 11 ofert |
Przywracanie Instagrama po zablokowaniu3 marca 2026 r. zablokowano Instagram z powodu naruszenia zasad. Uważam, że doszło do jakiegoś błędu, ponieważ strona była osobista z zdjęciami i filmami z prywatnych podróży. Nie pisałam komentarzy ani niczego innego. Wysłałam kilka razy odwołanie. Nie mogę pobrać swoich… Bazy danych i SQL, Programowanie stron internetowych ∙ 4 dni 19 godzin temu ∙ 5 ofert |
Usunąć problem niepełnego importu danych z plików Excel specyfikacji Nowej Poczty do 1C:
163 PLN
Cel: Istnieje przetwarzanie w 1C dotyczące ładowania specyfikacji Nowej Poczty. Z nieznanych powodów przestało ładować niektóre dane tabelaryczne. Należy znaleźć przyczynę i usunąć problem niepełnego importu danych z plików Excel specyfikacji Nowej Poczty do 1C: Mały Biznes.… Administracja systemem i siecią, Bazy danych i SQL ∙ 8 dni 2 godziny temu ∙ 16 ofert |
System ewidencji, planowania i sprzedaży dla farmy grzybowej
2205 PLN
Oto pełny, finalny tekst Technicznego Zadania (TZ). Łączy on wszystkie Twoje wymagania: 16 komór, 20 kontrahentów, harmonogram po dniach, ewidencja opakowań, obliczenie rentowności oraz obowiązkowy podział na trzy gatunki grzybów. Możesz całkowicie skopiować ten tekst i wysłać… Bazy danych i SQL, Zarządzanie klientami i CRM ∙ 10 dni 6 godzin temu ∙ 61 ofert |
Kiszyniów