Автоматизация сбора данных с Apify с помощью make.com и AI
1. Apify: Сделать API вызов
Функция: Запрашивает данные на Apify (Scraper, агент, парсер или кастомный интегратор).
Вход: Настройки API и необходимый workload (например, список страниц, данных или конфигов).
Выход: Массив данных (например, json объекты с информацией о лидах, страницах, контактах).
2. Итератор
Функция: Последовательно разбивает полученный массив из Apify на отдельные "пакеты" — каждый элемент массива становится отдельным циклом для дальнейшей обработки.
Вход: Массив объектов.
Выход: Один объект (элемент массива) на итерацию.
3. Инструменты: Текстовый агрегатор
Функция: Собирает определенные текстовые/нужные поля в один текстовый блок, например, склеивает несколько элементов в одну строку для отправки в AI.
Вход: Данные из Итератора.
Выход: Строка для AI (например, все описание лида/клиента в одном поле).
4. Perplexity AI: Создать завершение чата
Функция: Отправляет собранный текст в Perplexity AI для анализа, извлечения структуры или дополнительного enrichment (например, для распознавания контактов, анализа содержания, summary).
Вход: Строка из предыдущего блока.
Выход: Структурированный блок (текст/JSON с найденными ключевыми полями).
5. Парсер текста: Соответствие шаблону
Функция: Парсит AI-ответ согласно заданному паттерну (регулярное выражение, шаблон и т.д.).
Вход: Ответ AI.
Выход: Массив найденных объектов, которые соответствуют шаблону.
6. Агрегатор массивов
Функция: Собирает все полученные подмассивы или отдельные элементы обратно в единый массив (reverse-iterator), чтобы далее пакетно добавлять данные в Google Sheets.
Вход: Элементы, полученные после парсера (может быть много пакетов).
Выход: Обновленный массив для группового добавления.
7. Итератор (еще раз!)
Функция: Новый цикл — разворачивает агрегированный массив и уже готовит каждую отдельную строку для внесения в Google Sheets.
Вход: Массив из Агрегатора массивов.
Выход: Отдельный элемент на итерацию.
8. Google Sheets: Добавить строку
Функция: Добавляет полученный на предыдущем шаге объект в нужный лист.
Вход: Данные элемента (контакт, email, дата, что угодно).
Выход: Новая строка в Google Sheets.
Зачем такая структура:
Это позволяет массовую обработку из Apify и enrichment через AI для сложных неразмеченных данных, на выходе получив идеальную подготовленную структуру для Google Sheets.
Два цепочки Итератор/Агрегатор нужны для массивов: сначала параллелизируем массив на пакеты-для-AI, потом — собираем batch-результат и снова разворачиваем для быстрого добавления в таблицу.
Типовой кейс использования:
LinkedIn/email/web scraping → enrich + clean данные через AI → парсинг и добавление структурированного списка в Google Sheets для дальнейшей работы командами продаж, маркетинга или аналитики.
Функция: Запрашивает данные на Apify (Scraper, агент, парсер или кастомный интегратор).
Вход: Настройки API и необходимый workload (например, список страниц, данных или конфигов).
Выход: Массив данных (например, json объекты с информацией о лидах, страницах, контактах).
2. Итератор
Функция: Последовательно разбивает полученный массив из Apify на отдельные "пакеты" — каждый элемент массива становится отдельным циклом для дальнейшей обработки.
Вход: Массив объектов.
Выход: Один объект (элемент массива) на итерацию.
3. Инструменты: Текстовый агрегатор
Функция: Собирает определенные текстовые/нужные поля в один текстовый блок, например, склеивает несколько элементов в одну строку для отправки в AI.
Вход: Данные из Итератора.
Выход: Строка для AI (например, все описание лида/клиента в одном поле).
4. Perplexity AI: Создать завершение чата
Функция: Отправляет собранный текст в Perplexity AI для анализа, извлечения структуры или дополнительного enrichment (например, для распознавания контактов, анализа содержания, summary).
Вход: Строка из предыдущего блока.
Выход: Структурированный блок (текст/JSON с найденными ключевыми полями).
5. Парсер текста: Соответствие шаблону
Функция: Парсит AI-ответ согласно заданному паттерну (регулярное выражение, шаблон и т.д.).
Вход: Ответ AI.
Выход: Массив найденных объектов, которые соответствуют шаблону.
6. Агрегатор массивов
Функция: Собирает все полученные подмассивы или отдельные элементы обратно в единый массив (reverse-iterator), чтобы далее пакетно добавлять данные в Google Sheets.
Вход: Элементы, полученные после парсера (может быть много пакетов).
Выход: Обновленный массив для группового добавления.
7. Итератор (еще раз!)
Функция: Новый цикл — разворачивает агрегированный массив и уже готовит каждую отдельную строку для внесения в Google Sheets.
Вход: Массив из Агрегатора массивов.
Выход: Отдельный элемент на итерацию.
8. Google Sheets: Добавить строку
Функция: Добавляет полученный на предыдущем шаге объект в нужный лист.
Вход: Данные элемента (контакт, email, дата, что угодно).
Выход: Новая строка в Google Sheets.
Зачем такая структура:
Это позволяет массовую обработку из Apify и enrichment через AI для сложных неразмеченных данных, на выходе получив идеальную подготовленную структуру для Google Sheets.
Два цепочки Итератор/Агрегатор нужны для массивов: сначала параллелизируем массив на пакеты-для-AI, потом — собираем batch-результат и снова разворачиваем для быстрого добавления в таблицу.
Типовой кейс использования:
LinkedIn/email/web scraping → enrich + clean данные через AI → парсинг и добавление структурированного списка в Google Sheets для дальнейшей работы командами продаж, маркетинга или аналитики.