Стратегия ETL
2000 UAHЕсть много данных, необходимо сделать много работы, чтобы подготовить их.
Данные должны быть собраны, очищены и отформатированы правильно и сохранены в одном месте для анализа. То есть нужно создать хранилище данных .
Существует следующие источники данных га(из него тянуться ивенты контактов, сессии, юзеры), бд (много их(каталог, чаты, модерация, юзеры, пеймент))
Google analytics
Posrtgres
BigQuery (без агригирования)
Хотя данные доступны в других местах, на самом деле это не полезно для анализа до тех пор, пока не будет сделано хранилище.
В этоге нужна Многомерная база данных , которая могла содержать всю информацию в одной и той же базе данных.
Получение данных для анализа
Сбор, подготовка и хранение данных в хранилище данных осуществляется с помощью процесса, называемого ETL.
- Извлечение данных из внутренних и внешних источников
- Преобразовать данные в стандартный формат - например, конвертируя даты в один и тот же формат
- Загрузка данных в хранилище данных
Есть варинты перехода на 2 инструмента визуализации и нужно определиться с инструментом для ETL процесса, то есть полностью проконсультировать с таким процессом http://take.ms/t7MkG .
Необходимо внедрить преобразование данных с этих источников для легкого изучения в Tableau или zeppelin.apache.org или возможно есть другие варианты
Необходимо структурировать данные для оптимальной визуализации и импортирования Tableau или zeppelin.
-
Необходимо проконсультировать или внедрить процесс с 0?
-
Можу вас проконсультувати безкоштовно. Існує два варіанти:
Варіант 1. Ви - фірма середнього або великого розміру. Тоді ви наймаєте на ПОСТІЙНУ роботу BI спеціаліста, який створює вам архітектуру DW, OLAP куби, підключає BI засоби, etc. Фрілансери відпадають - вам потрібен постійний працівник.
Варіант 2. Ви - невелика фірма без значного бюджету. В такому випадку ми використовуємо концепцію self-BI і створюємо для себе data model за допомогою Power BI. В цьому випадку я (або інший фрілансер) можу вам допомогти в цьому.
-
Концепция self-BI как раз и интересует, но Power BI не нравится как инструмент.
-
Интересуют бесплатные инструменты?
Например, тот же Tablue платный.
-
Про то, что табло платный знаю. Но могут быть другие приимущества инструмента
-
Насколько большой объем данных?
БД Postgress на отдельных серверах стоят?
-
да прод бд на отделных серваках стоят,мы делаем копии для аналитики
-
А как вы представляете настройку процесса етл? Удаленно ? Каким способом?
Ведь это весьма трудоемкий процесс
-
А вкажіть, будь ласка, причини, чому не подобається power bi. І розкажіть, що ви взагалі хочете отримати.
-
Не нравится power bi - в плане визуализации, бизнес знаком с форматом Табло и поэтому предпочнения такие.
Первый этап – построениеблока хранилища данныхс возможностьюзагрузки данных из систем"источниковОтсутствие программирования и генерации кода
Отчетность построена набазе -
power bi - думаю досить простий має дуже обмежені можливості . навіть у порівнянні з екселем.
-
Приблизно зрозумів. В принципі я можу пошукати для вас підходяще рішення. І навіть маю вже одну ідею на думці, котру варто перевірити щонайперше. Але це займе певний час. І матиме певну ціну. Якщо хочете обговорити з подробицями, пишіть в особисті повідомлення.
-
Давайте обсудим
-
Нашли исполнителя ? Можем обсудить в ЛС
-
Ексель в качества клиента рассматрриваете ?
-
Я так понимаю вам нужен DWH + Olap + визуализация ?
1. данные планируется забирать по апи либо по прмому подключению к данным ?
2. требования к актуальности данных есть , или планируется обновлять отчтеты по расписанию ?
3. нарезка уровней доступа , по данным или доступным размерностям есть ?
4. Будут ли меняться структуры БД с которых нужно забирать информацию ?
-
А бюджет это на что ? такая сума ?!
-
Это бюджет на эксель в качестве клиента))
-
у вас если нет вопросов - зачем флудить?
-
Извините , но это не бюджет для реализации ETL процесса.
-
По опыту могу сказать , кроме екселя будет тяжко подобрать бесплатные компоненты, практические не реально. везде свои особенности.
-
Добрый,
Бесплатные ETL средства имеются, так как сейчас у каждого коммерческого проекта есть community направление и оно free. Либо коммерческое направление рождается из OpenSource проектов, в свою очередь последнее остается free.
Готов обсудить детали проекта ЛС, так как есть множество вопросов.
-
Актуальные фриланс-проекты в категории Базы данных и SQL
Аудит безопасности веб-приложения и базы данных для пользовательской CRM — специалист по BaaS / Database-as-API (пентест)
Обзор проекта Мы управляем индивидуально разработанной платформой управления взаимоотношениями с клиентами (CRM), которая обслуживает два сервисных бизнеса на одной системе. Это современное веб-приложение на JavaScript, поддерживаемое базой данных как сервис (BaaS) и развернутое… Базы данных и SQL, Тестирование и QA ∙ 9 часов 22 минуты назад ∙ 3 ставки |
Синхронизация баз данных
Синхронизация программ Microsoft Access и CRM SalesDrive. Передача данных из CRM в Microsoft Access на первом этапе (изменение статуса воронки). Передача данных из Microsoft Access в CRM на втором этапе (изменение статуса в программе). Базы данных и SQL ∙ 15 часов 13 минут назад ∙ 8 ставок |
Настройка системы резервного копирования и оптимизация серверной инфраструктуры
Цель работы: Обеспечить надежное сохранение данных CRM-системы и приложения путем внедрения автоматизированной системы резервного копирования (Backups), а также провести ряд серверных доработок для повышения стабильности, безопасности и производительности инфраструктуры. DevOps, Базы данных и SQL ∙ 1 день 13 часов назад ∙ 23 ставки |
Pіm система
10 000 UAH
Необходимо создать PIM систему. Количество товаров — несколько миллионов. Есть несколько поставщиков, которые предоставляют данные в разных форматах: csv, xml, API. Данные ограничены, часто нужно находить характеристики товаров в других источниках и дополнять. Необходимо… Базы данных и SQL, Веб-программирование ∙ 1 день 15 часов назад ∙ 43 ставки |
Интеграция BAS швейка 8
10 000 UAH
Добрый день, нужно интегрировать BAS швейка 8, подключить сайт и CRM sales drive, наладить отчеты и другие данные Базы данных и SQL ∙ 1 день 16 часов назад ∙ 10 ставок |
Киев