Сбор базы Интернет-магазинов
Рекомендую.
Необходимо спарсить или собрать базу интернет-магазинов с prom.ua, bigl.ua, zakupka.com, price.ua, hotline.ua, ek.ua, m.ua, sravni.ua..
Формат данных:
Также, нужно отфильтровать дубли.
Добрый день. Вам нужны все магазины площадок или же магазины в определенных сферах?
Понял. Объем будет большим, поэтому собирать буду в базу данных, с которой потом можно сделать выгрузку в любом удобном виде в любое время. 5 коп \ позиция +- будет стоить
А какой ориентировочный объем без дублей? Можете сориентировать?
Разные источники разную инфо дают кто-то упоминает 3-4К, а кто-то гооврит о 10-12К.
На основе некоторого опыта в сборе данных ИМ скажу, что это будет больше 50 000.
Задача большая, поэтому идеально было бы её разбить на этапы. Например по количеству позиций. Проект 1: например первые 10 000 контактов и т.д.
Дубли ваши учтем и вычтем с новой базы. Я так понял их относительно немного :)
Да, по состоянию на сейчас - база порядка 500 шт., может чуть больше.
Ого) 50 000 ИМ.
Да, разбивать на составляющие - хорошая идея.
Контакт я подразумеваю формат данных 1 ИМ (название, емейл, телефон, специфика) - то есть 1 ИМ - 5 коп.,верно?
Да, каждый контакт будет включать в себя:
- название ИМ
- сфера деятельности или категория ИМ
- телефоны
- емейл
- ссылка на ИМ
50 коп :) но если будем делать большой объем , то будет скидка ;)
Ок, давайте запустим тогда сбор 10 000 уникальных контактов. По 0, 45 коп. - и по рукам?)
Сможете выгрузить и xls и при сsv, при необходимости?
Какие сроки и условия оплаты?
Сроки, расценки? Достаточно большой объем работы. Хотелось бы немного конкретики. Необходим конкретный сегмент или полностью все? Готова обсудить. Мой e-mail: [email protected]
Необходима база всех ИМ Украины. Без сегментирования.
По срокам и стоимости - давайте обсуждать.
10К - это кол-во без дублей?
Часть информации у меня уже есть, я перешлю Вам чтоб не дублироваться, если сойдемся по цене. Ваше предложение за контакт?
То есть Вам бесплатно надо проверить контакты? Я так поняла за то, что у Вас есть, Вы же платить не будете? А может, у Вас процентов 80 есть) По-одесски) всегда проще начать с нуля, чем переделывать чьи-то труды) все контакты с нуля, без дублей 500 у.е. Работу сдам за 2 недели.
Нет, у меня есть уже порядка 300 - 500 контактов.
По поводу переделывать, согласна, проще с нуля. Я предложила как вариант - возможно Вам проще будет так..я же не знаю детального алгоритма работы)
Пока бюджет за 1 ИМ с вышеперечисленными контактными данными (имейл, тел., ссылка на сайт и специализация) - 1 -гривна.
Спасибо, не интересует. Просмотрела аналитику маркетплейса за последние 2 года, овчинка выделки не стоит. Вы самостоятельно это можете собрать, там не много. Чистыми ИМ получится где-то 5-6 тысяч. Самая сложность будет убрать дубляжи. По сути пром и бигль это один проект, продавцы на 80% дубляж. Просто пром - это по старому В2В, а бигль - это В2С. Вся разница. Удачи)
думаю около 40-60 тыс уникальных адресов получится
удалить дубликаты будет не просто
Вся суть как раз в отсутствии дубликатов.
Данные адреса нужны для коммуникаций по проектам и дублировать - не комильфо(
Есть действующая production-платформа с каталогом и автоматическим обновлением внешних предложений и цен. Стек: — Node.js / TypeScript; — PostgreSQL; — существующий price refresh service и cron; — отдельный готовый Python-модуль валидации и выбора предложений; — staging и production. Необходимо точечно доработать существующий price refresh pipeline без полного переписывания backend. ОБЯЗАТЕЛЬНЫЙ SCOPE 1. Интеграция Python-модуля — Python-модуль остаётся отдельным компонентом; — возвращает структурированный результат: offers, selected offer, statuses и risk flags; — Node.js валидирует результат и выполняет запись в БД; — предусмотреть обработку ошибок и partial/failed runs; — legacy pipeline не отключается до завершения QA. 2. Запуск refresh по списку Добавить запуск: — по одному slug/id; — по переданному списку slug/id. Допустим CLI или существующий служебный API. Новый пользовательский интерфейс не требуется. 3. Shadow Mode Новые результаты должны записываться отдельно и не влиять на production до QA. Требуются shadow-поля: — price; — selected offer ID; — direct URL; — offer status; — risk/QA flags; — checkedAt; — engineVersion. 4. Расширение существующей таблицы offers Добавить: — source; — external_offer_id; — last_seen_at; — last_checked_at; — engine_version; — risk flags либо хранение в существующем JSON; — unique constraint для защиты от дублей. Новую параллельную offer-систему создавать не требуется, если существующую таблицу можно безопасно расширить. 5. UPSERT, STALE и DB transaction Заменить текущую схему DELETE → CREATE: — UPSERT существующих и новых offers; — отсутствующие в полном успешном snapshot offers переводятся в STALE; — при API error, partial result или незавершённом snapshot активные offers не должны становиться STALE; — обновление offers, selected offer metadata и shadow fields по одной модели выполняется внутри одной DB transaction; — при ошибке выполняется полный rollback. 6. Canonical-safe refresh Price refresh не должен изменять: — brand; — reference; — model; — collection; — name/title; — slug; — descriptions; — images; — SEO fields. Обновляются только offer, price и shadow data. 7. Сохранение текущей cron-логики Сохранить: — existing cron; — rolling batches; — cooldown; — проверку PRICE_REFRESH_MIN_DAYS до вызова внешнего API; — legacy production pipeline до завершения Shadow QA. 8. Audit output Достаточно одного варианта: — shadow-колонки в существующей admin table; или — CSV export. Минимальные данные: — model/reference; — production price; — shadow price; — delta; — production/shadow URL; — status; — risk flags; — checkedAt; — engineVersion. Новый сложный dashboard не требуется. 9. Staging и QA — DB migrations; — staging deployment; — smoke test на 5 переданных моделях; — затем Shadow Mode приблизительно на 50 моделях; — исправление технических ошибок, выявленных во время этих прогонов; — краткая документация контракта Python → Node.js и rollback procedure. ОПЦИОНАЛЬНО ОЦЕНИТЬ ОТДЕЛЬНО Простой технический promotion без нового UI: — promotion одной модели по slug; — promotion списка slug; — перенос подтверждённых shadow values в production; — техническая проверка после rollout. РЕЗУЛЬТАТ — Pull Request; — DB migrations; — рабочая интеграция Python → Node.js; — Shadow Mode; — UPSERT, STALE и транзакционное обновление; — запуск по slug/id; — staging deployment; — smoke-test results; — краткая документация; — не менее 7 дней исправления багов по реализованному scope после приёмки. В ОТКЛИКЕ УКАЗАТЬ 1. Fixed price за обязательный scope. 2. Отдельную стоимость promotion-механизма. 3. Срок. 4. Оценку часов. 5. Когда готовы начать. 6. Опыт с PostgreSQL transactions, migrations и ingestion pipelines. 7. Какие вопросы нужно уточнить до начала. 8. Включены ли staging, QA, migrations и bug-fix period. Шаблонные ответы без конкретной оценки рассматриваться не будут. Доступ к production на первом этапе не предоставляется. Работа начинается с ограниченного code review и staging.
Необходимо разработать централизованную серверную систему сбора и хранения данных из Planfix, 1С, Meta Ads и Google Ads, а также веб-дашборд для их отображения и анализа. Все данные, история изменений, расчеты и агрегированные показатели должны храниться исключительно в серверной базе данных. Дашборд не должен хранить или дублировать бизнес-данные. Он должен получать необходимую информацию из серверной базы через API в соответствии с запросами пользователя и отображать ее в виде KPI, графиков, таблиц и детализированных отчетов.
Ищем для поддержки проекта на базе Yii , нужно вносить правки и доработки базы, частично есть связь с предыдущим исполнителем .....................
Необходимо сделать миграцию базы из CRM G-PLUS на MyChatBot Объем базы - 26 тыс. лидов 2 воронки - Кол центр и Отдел продаж со своими воронками Карточки лидов (кроме имени и номера) имеют много различных полей Лиды также имеют голосовые записи звонков. Их также нужно перенести От кандидата ожидаю ориентировочную сумму и сроки реализации
Создать дашборд для мониторинга и анализа эффективности сети локаций (филиалов) компании в Google Business Profile (GBP) через официальный Google Business Profile API. Обработка через Скрипт на базе Google Apps Script (привязать к Google Таблице). Запись данных в Google Таблицу (которая выступает как база данных для Looker Studio). Обновление: Ежедневно (с индикацией даты последнего обновления). Создать сервисный аккаунт Google Cloud Скрипт раз в сутки (триггер в 03:00 ночи) отправляет запрос к GBP API. Получает метрики за вчерашний день по каждой локации (locationId). Записывает данные в таблицу в плоском формате (строка = уникальное сочетание Дата + ID Филиала + Метрики). Карточки ключевых показателейНазвание карточкиМетрика GBPФормат динамикиПросмотры профиляImpressions (Search + Maps)Процент %, Sparkline (синий)ЗвонкиLocal Services Phone CallsПроцент %, Sparkline (зеленый)Переходы на сайтWebsite ClicksПроцент %, Sparkline (фиолетовый)Построение маршрутовDirection RequestsПроцент %, Sparkline (оранжевый)Средний рейтингAverage Review RatingАбсолютное изменение (например, +0.1), Sparkline (желтый)Новые отзывыNew Reviews CountПроцент %, Sparkline (бирюзовый)