Специалист по высокомасштабной веб-автоматизации и интеграции данных
Здравствуйте,
Мы ищем опытного специалиста по веб-автоматизации и интеграции данных в защищенной онлайн-системе.
Объем работы:
Получение идентификаторов из нашего API
Использование этих идентификаторов для взаимодействия с защищенной веб-системой
Доступ к детализированным представлениям данных, связанным с каждым идентификатором
Сбор нескольких структурированных частей каждого представления данных
Хранение полных HTML-ответов
Отправка собранных данных на наш API-эндпоинт для последующей обработки
Ожидания по производительности:
Высокий объем, производственное исполнение
Целевая пропускная способность: десятки тысяч элементов за 24 часа на одном VPS
Стабильная, непрерывная работа в течение нескольких последовательных дней
Технические ожидания:
Опыт работы с защищенными, ограниченными по скорости или защищенными веб-системами
Способность разрабатывать устойчивую автоматизацию, которая обрабатывает повторные попытки, ограничение скорости и временные сбои
Решение должно работать на нашем VPS
Полная свобода в выборе технологий, инструментов и архитектуры
Мы предоставляем:
Доступ к API для ввода и вывода
Необходимый сетевой доступ для интеграции системы
Критерии приемки:
Соответствие согласованным целям производительности
Стабильная работа в течение многодневного тестового периода
Готовое к производству решение, подходящее для долгосрочного использования
Пожалуйста, подавайте заявку только если у вас есть реальный опыт создания масштабируемой, надежной автоматизации
Отзыв заказчика о сотрудничестве с Сергій-Іваном Кулиняком
Специалист по высокомасштабной веб-автоматизации и интеграции данныхЗадача была выполнена очень хорошо. Хорошая коммуникация, взаимопонимание и никаких проблем. Настоятельно рекомендую.
Отзыв фрилансера о сотрудничестве с Krzysztof Krzysztof
Специалист по высокомасштабной веб-автоматизации и интеграции данныхМне очень понравилось работать над этим проектом. Задачи были интересными, а уровень оплаты был отличным, что отражало требуемые усилия. Кшиштоф - очень коммуникабельный и поддерживающий клиент, что сделало процесс разработки намного быстрее. Прочный опыт на 5 звезд!
-
1 день1044 UAH
475 1 день1044 UAHЗдравствуйте!
Меня зовут Алексей, и я представляю команду разработки NC-1. Мы создаем веб-сайты, мобильные приложения, интернет-магазины, ERP/CRM системы и другие продукты электронной коммерции более пяти лет. Наша команда включает специалиста (старшего разработчика на Python) с опытом и знаниями, которые вам нужны. Его почасовая ставка составляет 25 долларов (88 PLN).
Его стек: Python (3.x), Django, FastAPI, Flask, Pyramid. API и данные: RESTful API, веб-скрейпинг (Requests, BeautifulSoup, Selenium, Scrapy), Pandas, NumPy, asyncio (aiohttp). Базы данных: PostgreSQL, MySQL. DevOps и инструменты: Docker, Git/GitLab, GitLab CI/CD, Celery, APScheduler, Pytest, Logging.
Наши кейсы: https://1drv.ms/b/c/b7a0d31a9dae1bc5/IQCpK38gmEvWT6F_Cso40Li-AXAKkSs-J67mCwll-C732pw?e=v4VVF5
С уважением,
Алексей М.
-
10 дней11 869 UAH
358 1 0 10 дней11 869 UAHДобрый день,
У меня большой опыт в автоматизации процессов и интеграции данных с использованием Python и API. Я могу подготовить стабильное производственное решение, которое будет работать на вашем VPS, обрабатывая большие объемы данных и учитывая ограничения скорости и повторные попытки.
-
5 дней11 869 UAH
475 2 0 5 дней11 869 UAHготов помочь вам с этим
имею большой опыт работы в полном стекe
отправлю вам предыдущую работу, чтобы убедиться, что мы подходим друг другу
-
14 дней11 857 UAH
218 14 дней11 857 UAHПривет,
у меня есть опыт в масштабируемой автоматизации и интеграциях с защищенными онлайн-системами. Я создаю устойчивые решения 24/7 (повторные попытки, ограничение по скорости, мониторинг), обрабатывающие десятки тысяч записей в день на VPS.
Технологии: Python / Node.js, Playwright / Puppeteer, полный HTML-запись, интеграция API in/out.
Готов начать сразу.
С уважением,
Патрик
-
Победившая ставка14 дней11 869 UAH
1017 2 1 Победившая ставка14 дней11 869 UAHЗдравствуйте! Мой основной профиль — это высоконагруженный веб-скрапинг и автоматизация сложных процессов на Python.
Почему я подхожу для этой задачи:
Опыт WorldResults: Я реализовал систему, которая собирает, структурирует и обрабатывает огромные объемы данных из различных веб-источников. Работа с десятками тысяч запросов в день для меня является понятной задачей.
Обход защиты и стабильность: У меня есть опыт работы с защищенными системами, я понимаю, как обходить rate limits, настраивать ротацию прокси и обрабатывать временные сбои через очереди повторных попыток (retries).
Производительность: Для достижения цели в десятки тысяч единиц на одном VPS выберу асинхронность (HTTPX, Asyncio) или многопоточность, что минимизирует потребление ресурсов и максимизирует пропускную способность.
…
Надежность: Напишу решение "под ключ", которое будет работать 24/7. Логика будет включать сохранение сырого HTML (как вы и просили) и четкую отправку структурированных данных на ваш API.
Кибербезопасность: Как студент соответствующего направления, я уделяю особое внимание безопасности взаимодействия с вашим API (авторизация, токены) и стабильности работы софта на сервере.
Мой план действий:
Настрою быструю взаимодействие с вашим входным API.
Разработаю асинхронный воркер для параллельной обработки идентификаторов.
Реализую логику сохранения HTML и парсинга нужных частей.
Добавлю систему мониторинга ошибок, чтобы скрипт не "падал" при сбоях сети.
Готов развернуть тестовый скрипт на вашем VPS и показать реальную скорость работы уже после первых тестов.
-
20 дней91 982 UAH
421 20 дней91 982 UAHЗдравствуйте, Кшиштоф
У меня есть реальный опыт, особенно когда речь идет о создании надежных масштабируемых автоматизированных систем с использованием Python. Я успешно создавал системы, способные обрабатывать сотни тысяч элементов ежедневно в условиях ограниченной пропускной способности и защищенных средах.
Основываясь на требованиях, добросовестно объясненных выше, я могу создать модульную, контейнеризированную автоматизированную систему, разработанную для устойчивости и масштабируемости.
Прежде чем мы начнем, пожалуйста, напишите мне следующее:
- Доступ к вашей документации API для ввода/вывода (или конечным точкам).
- Учетные данные/доступ к целевой веб-системе (или тестовой среде).
… - Доступ по SSH к вашему VPS для развертывания (или аналогичной промежуточной среде).
- Уточнение по точным данным, которые необходимо извлечь из каждого представления.
С нетерпением жду вашего ответа.
Актуальные фриланс-проекты в категории Python
Создание Тик-ток фермы с генерацией дохода
27 000 UAH
в поиске человека, который может написать софт, для фермы тик ток, чтобы мы смогли генерировать трафик, получать доход. Ищем готовое решение с полным циклом. Python, Разработка ботов ∙ 1 день 12 часов назад ∙ 15 ставок |
AI Commenting Platform для TikTok и Instagram.Цель проекта Разработать систему, которая позволяет управлять большим количеством аккаунтов TikTok и Instagram и автоматически публиковать релевантные комментарии под выбранными видео с использованием ИИ. Основной функционал1. Управление аккаунтами Необходимо реализовать… AI и машинное обучение, Python ∙ 2 дня 20 часов назад ∙ 22 ставки |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 4 дня 14 часов назад ∙ 43 ставки |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 4 дня 19 часов назад ∙ 51 ставка |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 5 дней 8 часов назад ∙ 43 ставки |