Добро пожаловать!
Мы проект SEO-checker, который предоставляет SEO-специалистам возможность сканировать и анализировать SERP Google.
После последнего обновления Гугла мы ищем специалиста, который смог бы восстановить работу скрипта, который собирает позиции сайта в поисковиках.
Описание проекта (последней рабочей версии):
SEO-Checker - SaaS платформа, построенная с использованием JavaScript, Go, Python.
Фронт-Энд SPA приложение на Vue.js
API (на самом деле back-end for frontend) написан на GO, обычный rest для обработки запросов от клиентской части
Базы данных - Postgres, Redis
Инфраструктура - AWS + Terraform
SERP Service - состоит из 2 частей, просто сервис на Python и Crawler для парсинга гугла на Python + Playwright + Scrapy.
Логика работы SERP сканирования, клиент заходит в приложение, выбирает проект и запускает скан нажатием на кнопку, отправляется запрос на основной бекенд, запрос создает пару записей в postgres DB (для трекинга скана) и отправляет сообщение в AWS SQS очередь, эту очередь слушает SERP service, когда он получает новую задачу, он генерирует задачи для Crawler (на каждый ключевое слово из проекта) и кладет их в редис, Crawler пулит эти задачи из редиса и выполняет, на каждую задачу кладет результат в редис pub/sub, который слушает serp service и затем сохраняет их в персистентное хранилище (postgres).
Все это поднято на AWS через Terraform
