Розробка рішення для парсингу/збору даних API/сайти та збору контактів для outbound/sales

Розробити рішення (скрипт/сервіс/Make.com сценарій), яке:

1. регулярно отримує дані з заданих джерел (API та/або вебсайти),

2. виконує парсинг сайтів

3. знаходить нові сутності, яких немає у нашому внутрішньому списку,

4. застосовує конфігуровані фільтри,

5. знаходить офіційний сайт сутності,

6. збирає контакти людей у релевантних ролях для запуску outbound/sales-кампаній,

7. зберігає результат у БД/сховище + дає експорт.

Очікуваний результат

Готове рішення, яке створює та підтримує базу контактів у структурі:

• Project website

• Email

• LinkedIn profile link

• Job title

• Twitter/X profile link

• Phone number

• Telegram handle або Telegram link

Додатково (бажано): дата знаходження, джерело (source), статус валідації/повноти контакту.

Джерела даних та потоки обробки (3 потоки)

Кейс 1 — Джерело типу “каталог нових записів” (API/веб)

Функції:

• Отримувати записи за період та/або інкрементально (нові з моменту останнього запуску).

• Виявляти “нові” сутності відносно нашого внутрішнього списку (CSV/Google Sheet/JSON).

• Застосовувати фільтрацію (конфігуровано).

• Для кожної сутності:

  • знайти офіційний сайт,

  • зібрати контакти по потрібних ролях,

  • записати у БД/сховище.

Кейс 2 — Агрегатори/довідники (кілька незалежних джерел)

Функції:

• Отримувати дані з кількох агрегаторів/довідників (через API або scraping).

• Об’єднувати/нормалізувати записи, виконувати дедуплікацію.

• Виявляти “нові” сутності (відсутні у нашому internal list).

• Застосовувати фільтрацію (конфігуровано).

• Знаходити офіційний сайт та контакти потрібних ролей.

• Зберігати результат.
  
  

Потік 3 — Порівняння присутності між джерелами

Функції:

• Парсити/отримувати дані з 3–5 майданчиків/каталогів (API/веб).

• Порівнювати “присутність” сутності між джерелами (matching за назвою/доменом/ідентифікатором).

• Виявляти сутності, які:

  • відсутні у нашому внутрішньому списку,

  • відповідають фільтрам,

• Для релевантних сутностей — витяг контактів + збереження.

Логіка збору контактів

Для кожної відібраної сутності:

• Визначити офіційний сайт (з даних джерела або через додаткові переходи/перевірки).

• Зібрати контакти для ролей (конфігурований список ролей), наприклад:

  • Founder / C-level

  • Head/Lead of Partnerships / BD / Sales / Growth

  • Head/Lead of Operations / Product (та інші, погодимо)

• Джерела контактів:

  • сторінки “Team”, “About”, “Contact”, “Careers”, “Press”

  • LinkedIn (посилання на профілі/компанію, якщо доступно)

  • Twitter/X, Telegram, email/форми, телефони

• Мінімальна вимога: зберігати контакти лише в заданій структурі полів.

Вимоги до даних, зберігання, експорту

• Зберігання: PostgreSQL або SQLite (виконавець пропонує оптимальний варіант) або сховище з експортом у Google Sheets.

• Дедуплікація:

  • по домену/website

  • по email

  • по LinkedIn URL

  • по Twitter/X URL

  • по телефону/Telegram

• Експорт: мінімум 1 варіант з (CSV / Google Sheets / Airtable), бажано 2.

• Технічні вимоги:

  • логи,

  • обробка помилок,

  • retry/backoff,

  • rate limiting.

Бажано:

• статус “processed / already contacted” для записів.

Конфігурація (обов’язково)

Фільтри та правила мають змінюватися без переписування коду:

• через config файл (YAML/JSON) або

• через параметри запуску або

• через просту адмін-конфігурацію (якщо сервіс).

Технології (допустимі варіанти)

• Python (Requests/Scrapy + Playwright) або Node.js (Playwright/Puppeteer) або Make.com.

• Пріоритет: офіційні API (якщо є), інакше — акуратний scraping.

• Docker (бажано).

• Планувальник: cron/Celery/інший scheduler.

• Запуск на VPS.

Ми надамо

• Внутрішній список для виключення (CSV/Google Sheet/JSON).

• Початковий список фільтрів і ролей.

• API keys (за потреби).

Виконавець має надати

• Репозиторій з кодом або Make.com сценарії (з доступом/експортом).

• README: запуск, конфігурація, залежності.

• Опис архітектури (коротко) + схема потоку даних.

• Демонстраційний прогін: лог/скрін/приклад результатів експорту.

Вимоги до виконавця

• Досвід web scraping / інтеграцій API / автоматизації lead generation.

• Розуміння rate limits, антибот-захисту, стабільності, дедуплікації.

• Приклади схожих робіт (посилання/опис).