Бюджет: 2000 UAH Срок: 3 дня
Доброго дня .Я прописываю грамотную архитектуру для простого деплоя с помощью докера и могу упаковать туда все необходимое, знание бин, bash, zsh на высоком уровне, уверенный пользователь линукс.По стеку технологий, у меня большой бекграунд.
В парсинг использую прокси, user-agent и пропис различных headers по потребностям, умею работать с инспектором, javascript, dom, умею выводить данные даже с ajax и graphql
Основные библиотеки для парсинга: aiohttp, lxml,bs4,scrapy
Автоматизация сайта: Selenium
Создание API, на golang и python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
У меня есть опыт работы с Google Sheets и Google Cloud Console
Способность работать с различными базами sql и nosql.Решение капч anticaptcha.Знание потоков Semaphore, threading, concurrent.future. Способность работать с numpy и more_itools а именно chunked для разрыва параллельного скрапинга на равномерные потоки, что очень ускоряет сбор объемных данных
Базовые знания для строительства веб-интерфейсов
Также с полезными навыками, умение доступа скрытые API, и работать с xml
PyQuery для работы с html документами
Pyppeteer также для автоматизации