Стратегия ETL
2000 UAHЕсть много данных, необходимо сделать много работы, чтобы подготовить их.
Данные должны быть собраны, очищены и отформатированы правильно и сохранены в одном месте для анализа. То есть нужно создать хранилище данных .
Существует следующие источники данных га(из него тянуться ивенты контактов, сессии, юзеры), бд (много их(каталог, чаты, модерация, юзеры, пеймент))
Google analytics
Posrtgres
BigQuery (без агригирования)
Хотя данные доступны в других местах, на самом деле это не полезно для анализа до тех пор, пока не будет сделано хранилище.
В этоге нужна Многомерная база данных , которая могла содержать всю информацию в одной и той же базе данных.
Получение данных для анализа
Сбор, подготовка и хранение данных в хранилище данных осуществляется с помощью процесса, называемого ETL.
- Извлечение данных из внутренних и внешних источников
- Преобразовать данные в стандартный формат - например, конвертируя даты в один и тот же формат
- Загрузка данных в хранилище данных
Есть варинты перехода на 2 инструмента визуализации и нужно определиться с инструментом для ETL процесса, то есть полностью проконсультировать с таким процессом http://take.ms/t7MkG .
Необходимо внедрить преобразование данных с этих источников для легкого изучения в Tableau или zeppelin.apache.org или возможно есть другие варианты
Необходимо структурировать данные для оптимальной визуализации и импортирования Tableau или zeppelin.
-
Необходимо проконсультировать или внедрить процесс с 0?
-
Можу вас проконсультувати безкоштовно. Існує два варіанти:
Варіант 1. Ви - фірма середнього або великого розміру. Тоді ви наймаєте на ПОСТІЙНУ роботу BI спеціаліста, який створює вам архітектуру DW, OLAP куби, підключає BI засоби, etc. Фрілансери відпадають - вам потрібен постійний працівник.
Варіант 2. Ви - невелика фірма без значного бюджету. В такому випадку ми використовуємо концепцію self-BI і створюємо для себе data model за допомогою Power BI. В цьому випадку я (або інший фрілансер) можу вам допомогти в цьому.
-
Концепция self-BI как раз и интересует, но Power BI не нравится как инструмент.
-
Интересуют бесплатные инструменты?
Например, тот же Tablue платный.
-
Про то, что табло платный знаю. Но могут быть другие приимущества инструмента
-
Насколько большой объем данных?
БД Postgress на отдельных серверах стоят?
-
да прод бд на отделных серваках стоят,мы делаем копии для аналитики
-
А как вы представляете настройку процесса етл? Удаленно ? Каким способом?
Ведь это весьма трудоемкий процесс
-
А вкажіть, будь ласка, причини, чому не подобається power bi. І розкажіть, що ви взагалі хочете отримати.
-
Не нравится power bi - в плане визуализации, бизнес знаком с форматом Табло и поэтому предпочнения такие.
Первый этап – построениеблока хранилища данныхс возможностьюзагрузки данных из систем"источниковОтсутствие программирования и генерации кода
Отчетность построена набазе -
power bi - думаю досить простий має дуже обмежені можливості . навіть у порівнянні з екселем.
-
Приблизно зрозумів. В принципі я можу пошукати для вас підходяще рішення. І навіть маю вже одну ідею на думці, котру варто перевірити щонайперше. Але це займе певний час. І матиме певну ціну. Якщо хочете обговорити з подробицями, пишіть в особисті повідомлення.
-
Давайте обсудим
-
Нашли исполнителя ? Можем обсудить в ЛС
-
Ексель в качества клиента рассматрриваете ?
-
Я так понимаю вам нужен DWH + Olap + визуализация ?
1. данные планируется забирать по апи либо по прмому подключению к данным ?
2. требования к актуальности данных есть , или планируется обновлять отчтеты по расписанию ?
3. нарезка уровней доступа , по данным или доступным размерностям есть ?
4. Будут ли меняться структуры БД с которых нужно забирать информацию ?
-
А бюджет это на что ? такая сума ?!
-
Это бюджет на эксель в качестве клиента))
-
у вас если нет вопросов - зачем флудить?
-
Извините , но это не бюджет для реализации ETL процесса.
-
По опыту могу сказать , кроме екселя будет тяжко подобрать бесплатные компоненты, практические не реально. везде свои особенности.
-
Добрый,
Бесплатные ETL средства имеются, так как сейчас у каждого коммерческого проекта есть community направление и оно free. Либо коммерческое направление рождается из OpenSource проектов, в свою очередь последнее остается free.
Готов обсудить детали проекта ЛС, так как есть множество вопросов.
-
Актуальні фриланс-проєкти в категорії Бази даних та SQL
Виправити проблему неповного імпорту даних з Excel-файлів специфікацій Нової Пошти в 1С:
2000 UAH
Мета: Є обробка в 1С по завантаженню специфікації Нової Пошти. З незрозумілих причин перестало підгружати деякі табличні дані. Потрібно знайти причину і усунути проблему неповного імпорту даних з Excel-файлів специфікацій Нової Пошти в 1С: Малий Бізнес. Поточний стан: В 1С… Адміністрування систем та мереж, Бази даних та SQL ∙ 2 дні 13 годин тому ∙ 16 ставок |
Система обліку, планування та продажу для грибної ферми
27 000 UAH
Ось повний, фінальний текст Технічного завдання (ТЗ). Він об'єднує всі ваші вимоги: 16 камер, 20 контрагентів, розклад по днях, облік тари, розрахунок рентабельності та обов'язковий поділ на три сорти грибів. Ви можете повністю скопіювати цей текст і надсилати розробникам або… Бази даних та SQL, Управління клієнтами та CRM ∙ 4 дні 17 годин тому ∙ 55 ставок |
Зовнішній звіт 1С 8.3 — прогноз залишків товарів
1000 UAH
Потрібен зовнішній звіт (.erf) для 1С:Підприємство 8.3 (конфігурація уточнюється). Що має робити: Витягувати залишки товарів з бази Аналізувати історію продажів за останні 30 днів Рахувати середній темп продажів по кожному товару Визначати через скільки днів товар закінчиться… Бази даних та SQL, Управління клієнтами та CRM ∙ 4 дні 17 годин тому ∙ 13 ставок |
Аудит безпеки веб-додатків та бази даних для кастомного CRM — спеціаліст з BaaS / бази даних як API (пенетрація
Огляд проекту Ми експлуатуємо спеціально розроблену платформу управління взаємовідносинами з клієнтами (CRM), яка обслуговує два сервісні бізнеси на єдиній системі. Це сучасний веб-додаток на JavaScript, підтримуваний базою даних як послугою (BaaS) і розгорнутий на безсерверній… Бази даних та SQL, Тестування та QA ∙ 5 днів 6 годин тому ∙ 10 ставок |
Синхронізація баз даних
Синхронізація програм Microsoft Access та CRM SalesDrive. Передача даних з CRM в Microsoft Access на першому етапі (зміна статусу воронки). Передача даних з Microsoft Access в CRM на другому етапі (зміна статусу в програмі). Бази даних та SQL ∙ 5 днів 11 годин тому ∙ 13 ставок |
Київ