Создание автоматизированной системы сбора данных с динамических сайтов

Описание:

Нужен профессиональный программист для разработки системы автоматизации сбора данных. Проект включает работу с динамическими элементами, обход ограничений, возможность редактирования параметров вручную и обеспечение надежной защиты данных.

Основные задачи:

1. Сбор данных:

Автоматизация поиска информации (имя, адрес, телефоны, бизнес телефонные номера) на платформе.

Обработка списков родственников и сбор их контактных данных.

Сохранение данных в Google Sheets или Excel.

2. Гибкость параметров поиска:

Возможность редактировать параметры поиска:

Время пауз между действиями (например, между поиском кейсов, переходами между профилями, загрузкой страниц).

Количество кейсов для обработки за час (параметры настройки должны быть доступны через интерфейс программы).

Возможность быстро изменять настройки времени вручную в зависимости от потребностей.

3. Работа с динамическими элементами:

Использование Puppeteer, Selenium или Playwright для обработки страниц с JavaScript-рендерингом.

Обеспечение стабильной работы во время динамической загрузки данных.

4. Имитация действий пользователя:

Рандомизация пауз между действиями.

Эмуляция движений мыши, кликов и других пользовательских взаимодействий.

Случайные переходы и паузы для снижения риска блокировки.

Имитация действий пользователя (движение мыши, клики, пролистывание страницы, задержка на странице паузы между действиями)

добавить "человеческие" задержки, случайные клики, ошибки, движения мыши, случайно навести курсор не туда, задержаться на странице.

Добавить функцию поиска по сайту

Добавить имитацию мыши и клавиатуры

Движение курсора, случайные клики, скроллинг перед нажатием кнопки поиска

5. Обход ограничений:

Использование прокси и ротации аккаунтов.

Решение CAPTCHA (автоматическое+ручное).

6. Обработка ошибок:

Автоматический перезапуск при сбоях.

Логирование ошибок и уведомления.

Ручной fallback для критических сбоев.

7. Безопасность:

Использование JWT-токенов для защиты данных.

Шифрование логинов и паролей.

8. Мониторинг изменений:

Автоматическое отслеживание изменений структуры сайта (DOM).

Быстрая адаптация программы к новым условиям.

9. Документация и исходный код:

Полный исходный код с комментариями.

Инструкция по установке, настройке и изменению параметров поиска.

Гарантии исправления багов в течение 15 дней.

Техническая поддержка 30 дней.

Требования к кандидату:

Опыт работы с Puppeteer, Selenium или Playwright, Python, JavaScript (Node.js)

Знание прокси и обхода антибот-защиты.

Навыки автоматизации сложных процессов и работы с динамическими элементами.

Умение тестировать производительность и устранять ошибки.

Готовность предоставить документацию и консультацию по работе с программой.

Дополнительно:

Программа должна быть гибкой, с возможностью:

Редактирования времени пауз.

Настройки количества кейсов в час.

Управления параметрами ротации аккаунтов и прокси.

Удобный интерфейс.

Сроки:

21-31 день.

Важно, заключение договора между двумя сторонами является обязательным!!!