Створення автоматизованої системи збору даних із динамічних сайтів

Опис:

Потрібний професійний програміст для розробки системи автоматизації збору даних. Проект включає роботу з динамічними елементами, обхід обмежень, можливість редагування параметрів вручну та забезпечення надійного захисту даних.

Основні завдання:

1. Збір даних:

Автоматизація пошуку інформації (ім'я, адреса, телефони, бізнес телефонні номери) на платформі.

Обробка списків родичів та збирання їх контактних даних.

Збереження даних у Google Sheets або Excel.

2. Гнучкість параметрів пошуку:

Можливість редагувати параметри пошуку:

Час пауз між діями (наприклад між пошуком кейсів, переходами між профілями, завантаженням сторінок).

Кількість кейсів для обробки за годину (параметри налаштування мають бути доступні через інтерфейс програми).

Можливість швидко змінювати налаштування часу вручну в залежності від потреб.

3. Робота з динамічними елементами:

Використання Puppeteer, Selenium або Playwright для обробки сторінок із JavaScript-рендерингом.

Забезпечення стабільної роботи під час динамічного завантаження даних.

4. Імітація дій користувача:

Рандомізація пауз між діями.

Емуляція рухів миші, кліків та інших користувальницьких взаємодій.

Випадкові переходи та паузи для зниження ризику блокування.

Імітація дій користувача (рух миші, кліки, пополістування сторінки, затримка на сторінці паузи між діями)

додати "людські" затримки, випадкові кліки, помилки, рухи миші, випадково навести курсор не туди, затриматись на сторінці.

Додати функцію пошук по сайту

Додати імітацію миші та клавіатури

Рух курсору, випадкові кліки, скролінг перед натисканням кнопки пошуку

5. Обхід обмежень:

Використання проксі та ротації облікових записів.

Рішення CAPTCHA (автоматичне+ручне).

6. Обробка помилок:

Автоматичний перезапуск під час збоїв.

Логування помилок та повідомлення.

Ручний fallback для критичних збоїв.

7. Безпека:

Використання JWT-токенів для захисту даних.

Шифрування логінів та паролів.

8. Моніторинг змін:

Автоматичне відстеження змін структури сайту (DOM).

Швидка адаптація програми до нових умов.

9. Документація та вихідний код:

Повний вихідний код із коментарями.

Інструкція з встановлення, налаштування та зміни параметрів пошуку.

Гарантії виправлення багів протягом 15 днів.

Технічна підтримка 30 днів.

Вимоги до кандидата:

Досвід роботи з Puppeteer, Selenium чи Playwright, Python, JavaScript (Node.js)

Знання проксі та обходу антибот-захисту.

Навички автоматизації складних процесів та роботи з динамічними елементами.

Вміння тестувати продуктивність та усувати помилки.

Готовність надати документацію та консультацію щодо роботи з програмою.

Додатково:

Програма має бути гнучкою, з можливістю:

Редагування часу пауз.

Налаштування кількості кейсів на годину.

Управління параметрами ротації облікових записів та проксі.

Зручний інтерфейс.

Терміни:

21-31 день.

Важливе, укладання договору між двома сторонами є обов'язковим!!!