Добавить обработку в парсер

Технічне завдання (описаний повний функціонал) Проект AI Sales Agent для автоматичного пошуку потенційних клієнтів, персоналізованої email-розсилки та обробки лідів. Первісний бізнес, під який збирається ІІ Агент, призначений для проекту «платформа для будівельників та будівельної техніки в Німеччині та ЄС. Сайт : https://prostobau.de/ Мета — створити повністю автономну систему, яка зможе працювати практично без моєї участі і при необхідності легко переключатися на будь-яку іншу нішу бізнесу. Загальна архітектура Система повинна бути модульною. Кожен модуль повинен працювати незалежно. Наприклад: пошук компаній; аналіз сайту; пошук email; генерація листа; відправка; обробка відповідей; звітність. Якщо буде потрібно замінити Apify або OpenAI на інший сервіс, це повинно відбуватися без переписування всієї системи. Джерела пошуку компаній На першому етапі використовувати: Google Maps через Apify. В майбутньому повинна бути можливість легко підключити: LinkedIn; Facebook; Gelbe Seiten; Yelp; будь-які інші джерела. Пошук компаній Кожен день система автоматично отримує близько 100 нових компаній за заданим пошуковим запитом. Наприклад: Baumaschinenvermietung Bayern Bauunternehmen Nürnberg Trockenbau München Пошук повинен повністю налаштовуватися. Я повинен мати можливість змінювати: нішу; країну; регіон; мову; пошукові запити; кількість компаній. Без допомоги програміста. Перевірка дублів Перед обробкою компанія перевіряється за: доменом; email; телефоном; Google Maps URL; назвою. Одна компанія ніколи не повинна отримати перший лист двічі. Аналіз сайту Якщо знайдено сайт, агент повинен: вивчити чим займається компанія; які послуги надає; які товари продає; регіон роботи; контактні дані; можливе ім'я власника; email. Після аналізу створити короткий опис компанії. Пошук Email Пріоритет: особисті робочі адреси → sales → vertrieb → kontakt → info. Якщо email немає — компанію пропустити. Генерація листа Через OpenAI. Кожен лист повинен бути індивідуальним. Не використовувати шаблонну заміну пари слів. Лист повинен враховувати вміст сайту. Стиль: коротко дружелюбно професійно без тиску без вигаданих фактів максимум 120 слів. Перевірка листа Перед відправкою лист повинен автоматично перевірятися. Якщо виявлено: помилки; вигадана інформація; занадто довгий текст; погана персоналізація, лист повинен бути створений заново. Відправка листів Не використовувати корпоративну пошту проекту. Створити окремий новий домен для outbound email. Наприклад, окремий схожий домен. Створити нові поштові скриньки. Налаштувати: SPF DKIM DMARC Обов'язково організувати правильний прогрів пошти. Після прогріву вийти приблизно на 100 нових листів на день. Листи повинні відправлятися поступово протягом робочого дня. Не всі одночасно. Follow-up Через 5 днів після першого листа. Тільки якщо: немає відповіді; немає bounce; компанія не попросила більше не писати. Follow-up тільки один. Після другого листа ланцюг завершується. Обробка відповідей Система повинна автоматично: читати вхідні листи. Визначати: зацікавлений; не зацікавлений; прошу більше не писати; автоматична відповідь; відпустка; потрібен ручний відповідь. Після відповіді автоматично припиняти будь-які подальші листи. База даних Зберігати: компанії; сайти; email; історію листів; відповіді; статуси; пошукові запити; помилки; дату обробки; follow-up. Dashboard Потрібен зручний веб-інтерфейс (desktop), а не тільки n8n. Я хочу бачити: Головна працює чи агент; поточний статус; скільки компаній знайдено; скільки оброблено; скільки відправлено; скільки відповідей; скільки помилок; скільки follow-up; скільки зацікавлених. Компанії Таблиця. Фільтри. Пошук. Історія. Пошукові запити Додати Видалити Змінити Пріоритет Регіон Країну Кількість компаній. Налаштування Без програміста повинні змінюватися: OpenAI модель; поштовий акаунт; домен; кількість листів; ліміти; мова; шаблон; час відправки; кількість компаній; термін follow-up; ніша бізнесу. Логи Всі помилки. Всі дії. Історія роботи. Екстрена зупинка Велика кнопка STOP Після натискання: моментально припиняються пошук; генерація; відправка; follow-up. Перезапуск Однією кнопкою. Режими роботи Тестовий Все виконується, крім відправки. Можна перевірити листи. Автоматичний Повністю автономна робота. Масштабування В майбутньому повинна бути можливість: додати кілька поштових акаунтів; кілька доменів; кілька проектів; кілька ніш; кілька країн; кілька мов. Без повної переробки системи. Щоденний звіт (організувати зручним способом, або по пошті власнику, або в телеграм через бота) В кінці дня автоматично отримувати: знайдено компаній; нових; дублів; знайдено email; відправлено листів; follow-up; відповіді; зацікавлені; помилки. Безпека Всі API-ключі зберігати безпечно. Ніяких ключів всередині workflow. Документація Після завершення проекту надати: інструкцію запуску; інструкцію зміни налаштувань; опис архітектури; експорт всіх workflow; доступ до всіх сервісів. Важливо Проект повинен будуватися не тільки під ProstoBau. Я хочу отримати універсальну платформу для пошуку клієнтів, яку в майбутньому можна використовувати практично для будь-якого бізнесу, просто змінивши: нішу; пошукові запити; шаблони листів; пошту; домен; країну. Без залучення програміста.

Необхідно розробити локальний Python-скрипт для автоматичного заповнення Google Таблиці даними з внутрішнього сервісу компанії. Основна логіка: 1. Підключитися до Google Таблиці. 2. Знайти рядки, де заповнений ID, але відсутні два цільових значення. 3. Сформувати посилання за шаблоном: https://internal-service.example/item/{ID} 4. Отримати два значення (через API, якщо він існує, інакше через Playwright). 5. Записати значення назад у Google Таблицю. 6. Позначити рядок як оброблений. 7. Продовжити обробку наступних рядків. Вимоги: • Python • Google Sheets API • Пріоритет використання офіційного API • При відсутності API — Playwright • Без OCR, розпізнавання екрана та координат миші • Конфіденційні дані не повинні потрапляти в логи • Конфігурація через .env • Тестовий режим (без запису в таблицю) • Не обробляти вже заповнені рядки • Пакетна запис змін у Google Sheets • Коректна обробка помилок і повторних спроб Необхідно надати: - вихідний код; - requirements.txt; - приклад .env.example; - інструкцію по установці; - інструкцію по запуску; - короткий опис архітектури. Перед початком реалізації прошу: 1. Запропонувати архітектуру. 2. Перелічити необхідні доступи. 3. Задати уточнюючі питання. 4. Вказати вартість, терміни та орієнтовну кількість годин.

В рамках підвищення рівня кібербезпеки нашої інфраструктури нам необхідно відмовитися від практики зберігання «вічних» і статичних API-ключів, паролів і токенів інтеграцій у конфігураційних файлах (.env, appsettings.json, config.yaml) наших мікросервісів. Бізнес-мета: Створити єдину захищену точку зберігання конфіденційних даних (секретів) з механізмом їх автоматичного оновлення (ротації) у зовнішніх системах за розкладом. Інші наші сервіси будуть запитувати актуальні токени «на льоту» через API, що зведе до мінімуму шкоду в разі компрометації будь-якого з компонентів системи.Модель безпеки та шифрування (Crypto Core) У базі даних жоден секрет не повинен зберігатися в відкритому вигляді. При старті програми в змінні середовища передається Майстер-ключ (Master Key). Якщо ключ відсутній або має невалідну довжину, сервіс повинен падати на етапі ініціалізації з зрозумілою помилкою в логах. Кожен секрет шифрується перед записом у БД з використанням цього Майстер-ключа. При запиті — розшифровується в пам'яті і віддається в тілі відповіді.Аудит-логування (Audit Trail) Будь-яка дія з секретами (створення, читання сервісом, успішна або неуспішна ротація) повинна записуватися в окремий лог-файл audit.log (або окрему таблицю в БД). Суворе табу: В аудит-лог категорично заборонено записувати самі значення секретів (ні в відкритому, ні в зашифрованому вигляді).

Потрібен спеціаліст для написання парсерів, який зможе обходити CLOUDFRAME. Парсинг товарів відбувається з сайтів з авторизацією. Є 10+ донорів різної складності, з різним ступенем захисту. Парсинг товарів відбувається з сайтів з авторизацією. Парсить дані в готову базу даних Mysql + фотографії на сервер. Потрібно написати парсер відповідно до завдань описаних у технічному завданні та адаптувати дані до існуючої бази даних для повноцінної роботи на сайті. ТЗ та приклад донора по запиту. Десктопні парсери та C# не розглядаємо.

Бот для дзеркалювання позицій на Binance Futures (Python) Потрібен бот, що читає мої позиції на Hyperliquid (публічний API) та Bitget Futures (мій ключ read-only) і пропорційно повторює їх на моєму Binance USDT-M Futures через API. Логіка: відкриття, збільшення, часткове закриття, повне закриття — все дзеркалиться з налаштовуваним коефіцієнтом розміру. Полінг 5–10 сек. Обов’язкова коректна обробка часткових закриттів та усереднень. Вимоги: сповіщення в Telegram про угоди й помилки; конфіг (пари, коефіцієнт, ліміти); деплой на мій VPS + інструкція; вихідний код передається мені. Ключі вводжу сам. Етапи: 1) Hyperliquid→Binance, тест на малих сумах; 2) Bitget→Binance. Оплата через safe поетапно. У відгуку вкажіть досвід з API бірж і як обробите часткове закриття 30% позиції лідером