Бюджет: 2000 UAH Термін: 3 дні
Доброго дня.
Прописую грамотну архітектуру для простого деплоя з допомою докер і можу упакувати туди все що потрібно, знання bin, bash, zsh на високому рівні, впевнений користувач лінукс.
По стеку технологій, маю великий бекграунд
В парсингу використовую проксі, user-agent та пропис різних headers за потреби, вмію працювати з інспектором, javascript, dom, вмію витягувати данні навіть з ajax та graphql
Основні бібліотеки для парсингу: aiohttp,lxml,bs4,scrapy
Автоматизація web: Selenium
Створення API, на golang та python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Маю досвід роботи з Google sheets та google cloud console
Вміння працювати з різними базами sql та nosql.
Рішення капч anticaptcha.
Знання потоків Semaphore, threading, concurrent.future. Вміння працювати з numpy та more_itools а саме chunked для розбиття паралельного скрапінгу на рівномірні потоки, що дуже пришвидшує збір обʼємних даних
Базові знання для будування веб інтерфейсів
Також з корисних навичок, вміння діставати сховані API, та працювати з xml
PyQuery для роботи з html документами
Pyppeteer також для автоматизацій