Разработка решения для парсинга/сбора данных API/сайты и сбора контактов для outbound/sales

Разработать решение (скрипт/сервис/Make.com сценарий), которое:

1. регулярно получает данные из заданных источников (API и/или вебсайты),

2. выполняет парсинг сайтов

3. находит новые сущности, которых нет в нашем внутреннем списке,

4. применяет конфигурируемые фильтры,

5. находит официальный сайт сущности,

6. собирает контакты людей в релевантных ролях для запуска outbound/sales-кампаний,

7. сохраняет результат в БД/хранилище + дает экспорт.

Ожидаемый результат

Готовое решение, которое создает и поддерживает базу контактов в структуре:

• Project website

• Email

• LinkedIn profile link

• Job title

• Twitter/X profile link

• Phone number

• Telegram handle или Telegram link

Дополнительно (желательно): дата нахождения, источник (source), статус валидации/полноты контакта.

Источники данных и потоки обработки (3 потока)

Кейс 1 — Источник типа “каталог новых записей” (API/веб)

Функции:

• Получать записи за период и/или инкрементально (новые с момента последнего запуска).

• Выявлять “новые” сущности относительно нашего внутреннего списка (CSV/Google Sheet/JSON).

• Применять фильтрацию (конфигурировано).

• Для каждой сущности:

  • найти официальный сайт,

  • собрать контакты по нужным ролям,

  • записать в БД/хранилище.

Кейс 2 — Агрегаторы/справочники (несколько независимых источников)

Функции:

• Получать данные из нескольких агрегаторов/справочников (через API или scraping).

• Объединять/нормализовать записи, выполнять дедупликацию.

• Выявлять “новые” сущности (отсутствующие в нашем internal list).

• Применять фильтрацию (конфигурировано).

• Находить официальный сайт и контакты нужных ролей.

• Сохранять результат.
  
  

Поток 3 — Сравнение присутствия между источниками

Функции:

• Парсить/получать данные с 3–5 площадок/каталогов (API/веб).

• Сравнивать “присутствие” сущности между источниками (matching по названию/домену/идентификатору).

• Выявлять сущности, которые:

  • отсутствуют в нашем внутреннем списке,

  • соответствуют фильтрам,

• Для релевантных сущностей — извлечение контактов + сохранение.

Логика сбора контактов

Для каждой отобранной сущности:

• Определить официальный сайт (из данных источника или через дополнительные переходы/проверки).

• Собрать контакты для ролей (конфигурированный список ролей), например:

  • Founder / C-level

  • Head/Lead of Partnerships / BD / Sales / Growth

  • Head/Lead of Operations / Product (и другие, согласуем)

• Источники контактов:

  • страницы “Team”, “About”, “Contact”, “Careers”, “Press”

  • LinkedIn (ссылки на профили/компанию, если доступно)

  • Twitter/X, Telegram, email/формы, телефоны

• Минимальное требование: сохранять контакты только в заданной структуре полей.

Требования к данным, хранению, экспорту

• Хранение: PostgreSQL или SQLite (исполнитель предлагает оптимальный вариант) или хранилище с экспортом в Google Sheets.

• Дедупликация:

  • по домену/website

  • по email

  • по LinkedIn URL

  • по Twitter/X URL

  • по телефону/Telegram

• Экспорт: минимум 1 вариант из (CSV / Google Sheets / Airtable), желательно 2.

• Технические требования:

  • логи,

  • обработка ошибок,

  • retry/backoff,

  • rate limiting.

Желательно:

• статус “processed / already contacted” для записей.

Конфигурация (обязательно)

Фильтры и правила должны изменяться без переписывания кода:

• через config файл (YAML/JSON) или

• через параметры запуска или

• через простую админ-конфигурацию (если сервис).

Технологии (допустимые варианты)

• Python (Requests/Scrapy + Playwright) или Node.js (Playwright/Puppeteer) или Make.com.

• Приоритет: официальные API (если есть), иначе — аккуратный scraping.

• Docker (желательно).

• Планировщик: cron/Celery/другой scheduler.

• Запуск на VPS.

Мы предоставим

• Внутренний список для исключения (CSV/Google Sheet/JSON).

• Начальный список фильтров и ролей.

• API keys (по необходимости).

Исполнитель должен предоставить

• Репозиторий с кодом или Make.com сценарии (с доступом/экспортом).

• README: запуск, конфигурация, зависимости.

• Описание архитектуры (кратко) + схема потока данных.

• Демонстрационный прогон: лог/скрин/пример результатов экспорта.

Требования к исполнителю

• Опыт web scraping / интеграций API / автоматизации lead generation.

• Понимание rate limits, антибот-защиты, стабильности, дедупликации.

• Примеры схожих работ (ссылки/описание).