Бюджет: 550 USD Термін: 14 днів
Вітаю, я маю великий досвід у веб-скрапінгу, виконував проекти різної складності збору даних, автоматизація ETL, вмію працювати з усім функціоналом (робота з запитами, кукісами, проксі, юзер-агентами, автентифікацією, обхід капчі включно з клаудфлейр), з подальшою обробкою та перетворенням даних.
Бюджет: 250 USD Термін: 5 днів
Привіт, ознайомився з вашим ТЗ, все зрозуміло, готовий приступати. У вашому коді я б замінив request на aiohttp, beautifulsoup4 можна замінити на lxml, html5lib або scrapy. Використовую систему контролю версій github для кожного проекту, досвід роботи з python понад 4 роки. Недавно виконував подібний проект з паузами та парсингом обсяжних даних. Реалізую парсинг в рамках правових та етичних норм.
Про себе: розробляю грамотну архітектуру для простого деплою за допомогою докер та можу упакувати туди все необхідне, знання bin, bash, zsh на високому рівні, впевнений користувач лінуксу.
Впевнено реалізую як веб-інтерфейси, так і GUI інтерфейси, можете переглянути портфоліо, https://github.com/sashabodiul та можу особисто показати реальні виконані проекти. (PyQt5, kivy, tkinter, Flask, FastAPI, Django)
Щодо стеку технологій, маю великий досвід.
У парсингу використовую проксі, user-agent та різні headers за необхідності, вмію працювати з інспектором, javascript, dom, вмію витягувати дані навіть з ajax та graphql.
Основні бібліотеки для парсингу: aiohttp, lxml, bs4, scrapy
Автоматизація web: Selenium
Створення API на golang та python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Маю досвід роботи з Google sheets та google cloud console
Вміння працювати з різними sql та nosql базами даних.
Рішення капч anticaptcha.
Знання потоків Semaphore, threading, concurrent.future. Вміння працювати з numpy та more_itools, зокрема chunked для розбиття паралельного скрапінгу на рівномірні потоки, що дуже прискорює збір обсяжних даних.
Базові знання для побудови веб-інтерфейсів
Також з корисних навичок, вмію працювати з API, вміння витягувати сховані API та працювати з xml
PyQuery для роботи з html документами
Pyppeteer також для автоматизацій
Бюджет: 500 USD Термін: 7 днів
Доброго часу,
Цікавий проект.
Можливо, не вистачає бази даних або опису механізму роботи з даними (де і як їх зберігати, поки вони використовуються і чи це потрібно).
Загалом логіка зрозуміла, є приблизне рішення з комерційного досвіду.
І потрібно буде уточнити щодо законодавства щодо ресурсу, 1 - можливо, у них є варіант отримувати цю ж інформацію у форматі xls, csv або просто посилання на завантаження.
2 - наскільки законно перевіряти сайт без дозволу))
Мої переваги - є досвід комерційний різноманітний у розробці понад 6 років) і погляд на проект ширший через профільну вищу освіту.
Мій стек
Python/Django/FastAPI
PostgreSQL +SqlAlchemy + Alembic
Усього найкращого,
З повагою,
Талі.
Бюджет: 120 USD Термін: 4 дні
Зацікавило пропозиція, впевнений, що відповідаю Вашим вимогам, буду радий зворотньому зв'язку, дякую
Бюджет: 800 USD Термін: 14 днів
Добрий день,
якщо цікаво, можу реалізувати на node.js
Є непоганий досвід парсингу різної складності, пишіть, обговоримо деталі.
Бюджет: 250 USD Термін: 3 дні
Вітаю
Маю великий досвід парсингу будь-якої складності
Напишіть мені
