Бюджет: 3500 UAH Термін: 6 днів
Добрий день, працював неодноразово з платформою DEX, зможу реалізувати ваш проект за 6 днів.
Прописую грамотну архітектуру для простого деплою за допомогою докеру і можу упакувати туди все необхідне, знання bin, bash, zsh на високому рівні, впевнений користувач лінукс.
Щодо стеку технологій, маю великий досвід
У парсингу використовую проксі, user-agent та прописую різні headers за необхідності, вмію працювати з інспектором, javascript, dom, вмію витягувати дані навіть з ajax та graphql
Основні бібліотеки для парсингу: aiohttp, lxml, bs4, scrapy
Автоматизація web: Selenium
Створення API, на golang та python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Маю досвід роботи з Google sheets та google cloud console
Вміння працювати з різними базами sql та nosql.
Рішення капч anticaptcha.
Знання потоків Semaphore, threading, concurrent.future. Вміння працювати з numpy та more_itools, зокрема chunked для розбиття паралельного скрапінгу на рівномірні потоки, що дуже прискорює збір обсяжних даних
Базові знання для побудови веб інтерфейсів
Також з корисних навичок, вміння діставати сховані API та працювати з xml
PyQuery для роботи з html документами
Pyppeteer також для автоматизацій