Бюджет: 100 USD Термін: 3 дні
Добрий день, якщо сайти будуть різні, то і логіка і id у сайтів різні на поля реєстрації, якщо вони однотипні, то можна таке реалізувати, за витратами буде додатково anti-captcha і проксі я би радив також трохи придбати, можемо з вами обговорити проект більш детально, все розповім, поясню і будете вже приймати рішення далі.
Коротко про себе:
Прописую грамотну архітектуру для простого деплою за допомогою докер і можу упакувати туди все що потрібно, знання bin, bash, zsh на високому рівні, впевнений користувач лінукс.
Створення як звичайних ботів aiogram так і юзер ботів pyrogram.
За стеком технологій, маю великий бекграунд
У парсингу використовую проксі, user-agent і пропис різних headers при необхідності, вмію працювати з інспектором, javascript, dom, вмію витягувати дані навіть з ajax і graphql
Основні бібліотеки для парсингу: aiohttp,lxml,bs4,scrapy
Автоматизація web: Selenium
Створення API, на golang і python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Маю досвід роботи з Google sheets і google cloud console
Вміння працювати з різними базами sql і nosql.
Рішення капч anticaptcha.
Знання потоків Semaphore, threading, concurrent.future. Вміння працювати з numpy і more_itools а саме chunked для розбиття паралельного скрапінгу на рівномірні потоки, що дуже прискорює збір обсяжних даних
Базові знання для побудови веб інтерфейсів
Також з корисних навичок, вміння діставати приховані API, і працювати з xml
PyQuery для роботи з html документами
Pyppeteer також для автоматизацій