Scraping Google
Witamy!
Jesteśmy projektem SEO-checker, który umożliwia specjalistom SEO skanowanie i analizowanie SERP Google.
Po ostatniej aktualizacji Google szukamy specjalisty, który mógłby przywrócić działanie skryptu, który zbiera pozycje strony w wyszukiwarkach.
Opis projektu (ostatniej wersji roboczej):
SEO-Checker - platforma SaaS zbudowana z wykorzystaniem JavaScript, Go, Python.
Front-End aplikacja SPA na Vue.js
API (w rzeczywistości back-end for frontend) napisane na GO, zwykły rest do przetwarzania zapytań z części klienckiej
Bazy danych - Postgres, Redis
Infrastruktura - AWS + Terraform
Usługa SERP - składa się z 2 części, prosty serwis na Pythonie i Crawler do parsowania Google na Pythonie + Playwright + Scrapy.
Logika działania skanera SERP, klient wchodzi do aplikacji, wybiera projekt i uruchamia skanowanie naciskając przycisk, wysyłane jest zapytanie do głównego backendu, zapytanie tworzy parę rekordów w bazie danych Postgres (do śledzenia skanowania) i wysyła wiadomość do kolejki AWS SQS, tę kolejkę nasłuchuje usługa SERP, gdy otrzymuje nowe zadanie, generuje zadania dla Crawlera (na każde słowo kluczowe z projektu) i umieszcza je w Redisie, Crawler pobiera te zadania z Redis i wykonuje, na każde zadanie umieszcza wynik w Redis pub/sub, które nasłuchuje usługa SERP, a następnie zapisuje je w trwałym magazynie (Postgres).
Wszystko to jest uruchomione na AWS za pomocą Terraform
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 49 minut temu ∙ 6 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 1 dzień 6 godzin temu ∙ 41 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 1 dzień 22 godziny temu ∙ 56 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 2 dni 2 godziny temu ∙ 29 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 3 dni 18 godzin temu ∙ 44 oferty |
Sumy