Python / Мережевий інженер: Мережева оптимізація бота (WAF, інтеграція C-lib, uvloop)
Python / Network Engineer: Оптимізація мережі бота (WAF, інтеграція C-lib, uvloop)
Про проект: Автоматизований бот для снайпінгу. Базова бізнес-логіка (парсинг, авторизація, збірка JSON/XML пакетів) вже готова і стабільно працює на Python. Цільове середовище — Ubuntu
Поточна проблема: Архітектура уперлася в фізику мережі. Час бойового циклу не влаштовує через мережеві таймаути, агресивні ліміти балансувальника платформи та повільну роботу локального модуля криптографії (Java). Наша мета — оптимізувати роботу з http/1.1, обійти мережеві затримки та вичавити абсолютний максимум швидкості.
Шукаємо інженера, який розуміє пристрій мереж на низькому рівні, знає, як працюють WAF (Rate Limits, Leaky Bucket), і вміє інтегрувати системні бібліотеки в пам'ять Python.
Завдання (Розробка ізольованого мережевого движка):
Устранення I/O затримок (C/C++ Integration): Зараз криптографічні операції проходять через зовнішнє десктопне Java-додаток з передачею даних по локальним сокетам. Вимагається: Повністю відмовитися від цієї прокладки. Інтегрувати нативну системну C-бібліотеку безпосередньо в адресний простір Python (через
ctypesабоCFFI), перевівши всі операції виключно в оперативну пам'ять.Обхід WAF і прогрів з'єднань (Network Engine): Захист платформи ріже неактивні TCP-з'єднання по таймауту і банить за спам-запити. Вимагається: Написати мережевий движок (на базі
uvloop), який заздалегідь відкриває пул TCP-з'єднань і утримує їх "гарячими" (Keep-Alive) за допомогою легального фонового "пульсу", не привертаючи уваги захисту.Моніторинг плаваючого старту (Staggered Polling): Час настання цільової події непередбачувано (плаваючий старт). Сліпий спам запитами призведе до бану по IP. Вимагається: Розробити асинхронний "радар" зі зміщенням по фазі (расинхронізація пулу), який дозволить моніторити статус лота з мікро-затримками, строго залишаючись в рамках лімітів платформи (наприклад, 1 запит в секунду на з'єднання).
Замороження сесії (State Machine): Вимагається: Реалізувати строгий послідовний відправлення множинних пакетів через єдине прогріте з'єднання з динамічним оновленням токенів безпеки (CSRF/Sequence), щоб уникнути інвалідизації сесії сервером при високих навантаженнях.
Вимоги до кандидата:
Глибоке розуміння
asyncioі пристрою HTTP-протоколів.Уміння аналізувати мережевий трафік і обходити ліміти балансувальників.
Досвід роботи з реверс-інжинірингом, парсингом агресивно захищених систем, HFT або арбітражними сканерами.
Навичка роботи з пам'яттю та інтеграції C-бібліотек в Linux.
Готовність до нерозголошення деталей проекту (NDA).
Важливо: Нам потрібна ювелірна робота з мережею. Брутфорс і рішення рівня
while True: sleep()не розглядаються.
Умови приймання проекту (Критично): Оплата проекту строго прив'язана до Internal Overhead — чистої внутрішньої швидкості виконання вашого движка. Нам потрібен хірургічно оптимізований код без I/O-блокувань, зайвих перепідключень і просадок Event Loop'а. Точні метрики приймання (допустимі мілісекунди на кожен внутрішній етап) і вимоги до профілювання/логування ми надамо кандидатам з релевантним досвідом в особистій переписці.
Для відгуку: 1. Будь ласка, коротко опишіть ваш досвід оптимізації latency або обходу WAF. 2. Почніть свою відповідь з того, яку бібліотеку/підхід ви б використовували для вирішення задачі №3. 3. Запропонуйте реальні терміни і вартість.
-
7 днів89 813 UAH7 днів89 813 UAH
Привіт, я працював над оптимізацією мережевих ботів для HFT-трейдингу з tag:7748 - досягнув зниження латентності до 15мс через інтеграцію C-бібліотек та uvloop, обійшов WAF через розподілені пули з'єднань Результат: швидкість збільшилась у 8 разів
Для задачі №3 використовую aiohttp + uvloop з динамічним pool manager'ом та phase-shifted polling через asyncio.gather() з контрольованими інтервалами.
Який саме алгоритм криптографії використовується в Java-модулі? Це вплине на вибір оптимальної C-бібліотеки для заміни.
Пропоную зв'язатися, я безкоштовно проконсультую вас з технічної сторони та складемо план розробки + розповім про мою команду!
-
7 днів8532 UAH
2993 12 0 4 7 днів8532 UAHЗадача ясна: потрібно позбутися від Java-модуля та I/O оверхеду, перенісши криптографію в адресний простір Python через ctypes/CFFI. Також зробимо асинхронний двигун на uvloop для прогріву TCP-з'єднань і утримання Keep-Alive, щоб WAF не різав коннекти, і налаштуємо staggered polling зі зсувом по фазі для акуратного моніторингу лотів.
Маю великий досвід роботи з асинхронним мережевим стеком Python та оптимізацією HFT-рішень на Linux. Готовий реалізувати стейт-машину для послідовної відправки пакетів з динамічним оновленням токенів в рамках однієї TCP-сесії.
Для наочності, концептуально це виглядає приблизно так:
import uvloop, asyncio
asyncio.seteventloop_policy(uvloop.EventLoopPolicy())
async def keep_alive(conn):
await conn.send(b'PING')
await asyncio.sleep(5)
Готовий почати завтра після отримання вихідників бота та C-бібліотеки.
Актуальні фриланс-проєкти в категорії Python
Розсилка по групах
1500 UAH
Потрібен софт, який буде підключатися до сесії телеграму, буде заходити в групи телеграму і відправляти повідомлення, яке йому скажуть Python, Розробка ботів ∙ 12 годин 13 хвилин тому ∙ 22 ставки |
Побудувути модель калсифікації клієнтів1. Є дані клієнтів в Mongo/SQL (приблизно 20 000 заисів із сирими даними). 2. Необхідно на їх основі побудувати фічі та модель класифікації клієнтв на поведінкові групи. 3. Проект виконати на Python. AI та машинне навчання, Python ∙ 1 день 15 годин тому ∙ 31 ставка |
ІТ Автоматизація ведення VAT- звітності
10 000 UAH
Необхідно розробити систему для автоматизації перенесення даних про продажі з CRM у бухгалтерську систему Wafeq. Система має імпортувати банківські та платіжні звіти, автоматично звіряти платежі з інвойсами, формувати інвойси для VAT-звітності та мінімізувати ручну роботу.… AI та машинне навчання, Python ∙ 1 день 20 годин тому ∙ 41 ставка |
Інструмент звірки рахунків з банком, картами та бухгалтеромТехнічне завдання: інструмент звірки рахунків з банком, картами та бухгалтеромЗагальна метаПотрібен локальний інструмент (скрипт/невеликий додаток на Python), який запускається вручну раз на 1-2 місяці на моєму комп'ютері і робить звірку між:Рахунками, які я виставив клієнтам і… Python, Десктопні додатки ∙ 2 дні 8 годин тому ∙ 40 ставок |
Автоматичне публікування відео в соціальні мережі за розкладомТехнічне завдання (ТЗ)Автоматична публікація відео в соціальні мережі за розкладомОпис проектуПотрібен скрипт/бот (Python бажано, або будь-яке інше рішення на ваш вибір — головне стабільність і простота підтримки), який автоматично публікує відео з папки в соціальні мережі та… Python, Розробка ботів ∙ 2 дні 20 годин тому ∙ 59 ставок |
Алмати (Алма-Ата)