Automatyzacja przeglądarki / Skrobanie stron internetowych dla interfejsu użytkownika Ahrefs
Wymagane jest wdrożenie stabilnego, zautomatyzowanego wyciągania danych z interfejsu Ahrefs bez użycia API Ahrefs, poprzez kontrolowanie rzeczywistej przeglądarki.
Należy uzyskać dane SEO dostępne w interfejsie Ahrefs po autoryzacji, w tym:
- kotwice (anchors)
- linki zwrotne (backlinks)
- strony odsyłające (referring pages)
- oraz inne powiązane dane linkowe
Rozwiązanie musi stabilnie działać przy wysokim obciążeniu (do ~10 000 domen dziennie) i wspierać równoległe przetwarzanie (concurrency) bez blokad i banów.
🛠 Ogólne wymagania
- Automatyzacja rzeczywistej przeglądarki (headless lub headful)
- Stabilna praca z Cloudflare / ochroną przed botami
- Praca z autoryzowanymi sesjami
- Możliwość automatyzacji logowania i 2FA (email lub TOTP)
- Uruchomienie w kontenerze Docker
- Wsparcie dla concurrency i kontrolowanego throughput
- Czysty, utrzymywany kod (Python lub Node.js)
🎯 Kryteria selekcji
Preferowani są kandydaci, którzy już mają działające rozwiązania lub potwierdzone doświadczenie w pracy z interfejsem Ahrefs lub podobnymi zabezpieczonymi usługami.
Posiadanie PoC, dema lub doświadczenia produkcyjnego będzie dużym plusem. Po potwierdzeniu odpowiedniego doświadczenia jesteśmy gotowi dostarczyć pełne wymagania i rozważyć długoterminową współpracę.
📩 W odpowiedzi prosimy o podanie:
- Doświadczenia w pracy z interfejsem Ahrefs lub podobnymi platformami
- Użytych narzędzi i podejść (Playwright, Puppeteer, CDP, stealth itp.)
- Posiadania dema, PoC lub przykładów kodu
- Doświadczenia w pracy przy wysokim obciążeniu i concurrency
- Doświadczenia w automatyzacji logowania i 2FA
-
Технически реализуемо, но есть серьёзные красные флаги.
10,000 доменов/день — это огромный объём. Понадобится минимум 5-10 аккаунтов Ahrefs для ротации, каждый стоит $99-999/мес. Баны аккаунтов - вопрос времени, не "если", а "когда".
По защите: Ahrefs использует Cloudflare Enterprise, fingerprinting браузера, поведенческий анализ. При таких объёмах детектят быстро.
Поддержка будет постоянной — Ahrefs регулярно обновляет защиту. То что работает сегодня, может сломаться через неделю. Это не "сделал и забыл".
Юридически - прямое нарушение ToS Ahrefs. При таких объёмах уж тем более.
По экономике: разработка + аккаунты + поддержка + риск банов — скорее всего выйдет дороже чем официальный API.
-
Доброго дня. Готовий виконати вчасно.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Baza stron na woocommercePotrzebna jest baza ukraińskich stron internetowych sklepów internetowych na woocommerce z kontaktami, które są podane na stronach. Tylko działające strony (wskaźnik: aktualizacja katalogu/treści, działająca domena) Format tabeli - adres strony, numer telefonu, e-mail. Parsowanie danych ∙ 1 dzień 13 godzin temu ∙ 20 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 3 dni 3 godziny temu ∙ 17 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 3 dni 7 godzin temu ∙ 34 oferty |
Wymagany programista do parsowania katalogu i automatyzacji importu danychSzczegółowe TZ w załączonym dokumencie proszę w odpowiedzi podać orientacyjną cenę i terminy realizacji czy masz doświadczenie w parsowaniu dużych katalogów jakie możliwe trudności lub ograniczenia widzisz w tym zadaniu Bazy danych i SQL, Parsowanie danych ∙ 3 dni 10 godzin temu ∙ 40 ofert |
Znaleźć feed produktowy (Google Merchant XML) dla strony na OpenCart
58 PLN
Konieczne jest znalezienie bezpośredniego linku do działającego pliku z danymi produktowymi (XML) konkurenta dla Google Merchant Center Platforma (CMS): OpenCart / ocStore Znajdź oryginalny plik z danymiWymagania dotyczące wyniku: Roboczy link do pliku XML Python, Parsowanie danych ∙ 3 dni 16 godzin temu ∙ 24 oferty |