Бюджет: 3500 UAH Срок: 6 дней
Добрый день, работал не однократно с DEX платформой, смогу реализовать ваш проект за 6 дней.
Прописываю грамотную архитектуру для простого деплоя с помогу докер и могу упаковать туда все что нужно, знание bin, bash, zsh на высоком уровне, уверенный пользователь линукс.
По стеку технологий, имею большой бэкграунд
В парсинге использую прокси, user-agent и пропись различных headers при необходимости, умею работать с инспектором, javascript, dom, умею извлекать данные даже с ajax и graphql
Основные библиотеки для парсинга: aiohttp,lxml,bs4,scrapy
Автоматизация web: Selenium
Создание API, на golang и python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Имею опыт работы с Google sheets и google cloud console
Умение работать с различными базами sql и nosql.
Решение капч anticaptcha.
Знание потоков Semaphore, threading, concurrent.future. Умение работать с numpy и more_itools а именно chunked для разбиения параллельного скрапинга на равномерные потоки, что очень ускоряет сбор объемных данных
Базовые знания для построения веб интерфейсов
Также из полезных навыков, умение доставать скрытые API, и работать с xml
PyQuery для работы с html документами
Pyppeteer также для автоматизаций