Парсинг даних
4948 UAH
-
14 днів24 738 UAH
1069 10 0 14 днів24 738 UAHВітаю, я маю великий досвід у веб-скрапінгу, виконував проекти різної складності збору даних, автоматизація ETL, вмію працювати з усім функціоналом (робота з запитами, кукісами, проксі, юзер-агентами, автентифікацією, обхід капчі включно з клаудфлейр), з подальшою обробкою та перетворенням даних.
-
5 днів11 245 UAH
960 8 2 5 днів11 245 UAHПривіт, ознайомився з вашим ТЗ, все зрозуміло, готовий приступати. У вашому коді я б замінив request на aiohttp, beautifulsoup4 можна замінити на lxml, html5lib або scrapy. Використовую систему контролю версій github для кожного проекту, досвід роботи з python понад 4 роки. Недавно виконував подібний проект з паузами та парсингом обсяжних даних. Реалізую парсинг в рамках правових та етичних норм.
Про себе: розробляю грамотну архітектуру для простого деплою за допомогою докер та можу упакувати туди все необхідне, знання bin, bash, zsh на високому рівні, впевнений користувач лінуксу.
Впевнено реалізую як веб-інтерфейси, так і GUI інтерфейси, можете переглянути портфоліо, https://github.com/sashabodiul та можу особисто показати реальні виконані проекти. (PyQt5, kivy, tkinter, Flask, FastAPI, Django)
Щодо стеку технологій, маю великий досвід.
У парсингу використовую проксі, user-agent та різні headers за необхідності, вмію працювати з інспектором, javascript, dom, вмію витягувати дані навіть з ajax та graphql.
Основні бібліотеки для парсингу: aiohttp, lxml, bs4, scrapy
Автоматизація web: Selenium
Створення API на golang та python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Маю досвід роботи з Google sheets та google cloud console
… Вміння працювати з різними sql та nosql базами даних.
Рішення капч anticaptcha.
Знання потоків Semaphore, threading, concurrent.future. Вміння працювати з numpy та more_itools, зокрема chunked для розбиття паралельного скрапінгу на рівномірні потоки, що дуже прискорює збір обсяжних даних.
Базові знання для побудови веб-інтерфейсів
Також з корисних навичок, вмію працювати з API, вміння витягувати сховані API та працювати з xml
PyQuery для роботи з html документами
Pyppeteer також для автоматизацій
-
7 днів22 490 UAH
257 7 днів22 490 UAHДоброго часу,
Цікавий проект.
Можливо, не вистачає бази даних або опису механізму роботи з даними (де і як їх зберігати, поки вони використовуються і чи це потрібно).
Загалом логіка зрозуміла, є приблизне рішення з комерційного досвіду.
І потрібно буде уточнити щодо законодавства щодо ресурсу, 1 - можливо, у них є варіант отримувати цю ж інформацію у форматі xls, csv або просто посилання на завантаження.
2 - наскільки законно перевіряти сайт без дозволу))
… Мої переваги - є досвід комерційний різноманітний у розробці понад 6 років) і погляд на проект ширший через профільну вищу освіту.
Мій стек
Python/Django/FastAPI
PostgreSQL +SqlAlchemy + Alembic
Усього найкращого,
З повагою,
Талі.
-
4 дні5397 UAH
209 1 0 4 дні5397 UAHЗацікавило пропозиція, впевнений, що відповідаю Вашим вимогам, буду радий зворотньому зв'язку, дякую
-
14 днів35 983 UAH
187 1 0 14 днів35 983 UAHДобрий день,
якщо цікаво, можу реалізувати на node.js
Є непоганий досвід парсингу різної складності, пишіть, обговоримо деталі.
-
3 дні11 245 UAH
1993 12 0 3 дні11 245 UAHВітаю
Маю великий досвід парсингу будь-якої складності
Напишіть мені
Актуальні фриланс-проєкти в категорії Python
Створення бота багато фунціонального бота в телеграм
1000 UAH
(Всі матеріали предоставлю в приватні повідомлення) Ось детальний опис проєкту: Псіля натискання кнопки /start Бот присилає текст з правилми та умови користування (під текстом, кнопка ‘ознакомлен’) Після натискання на кнопку, наступне повідомлення ʼпроверка на подпискуʼ Три… Python, Розробка ботів ∙ 1 день 16 годин тому ∙ 88 ставок |
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 4 дні 5 годин тому ∙ 25 ставок |
Розробка Тік-Ток ферми (контент-завод)Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 4 дні 16 годин тому ∙ 19 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 4 дні 23 години тому ∙ 25 ставок |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 5 днів 2 години тому ∙ 28 ставок |
Алмати (Алма-Ата)