Стратегия ETL
45 USDЕсть много данных, необходимо сделать много работы, чтобы подготовить их.
Данные должны быть собраны, очищены и отформатированы правильно и сохранены в одном месте для анализа. То есть нужно создать хранилище данных .
Существует следующие источники данных га(из него тянуться ивенты контактов, сессии, юзеры), бд (много их(каталог, чаты, модерация, юзеры, пеймент))
Google analytics
Posrtgres
BigQuery (без агригирования)
Хотя данные доступны в других местах, на самом деле это не полезно для анализа до тех пор, пока не будет сделано хранилище.
В этоге нужна Многомерная база данных , которая могла содержать всю информацию в одной и той же базе данных.
Получение данных для анализа
Сбор, подготовка и хранение данных в хранилище данных осуществляется с помощью процесса, называемого ETL.
- Извлечение данных из внутренних и внешних источников
- Преобразовать данные в стандартный формат - например, конвертируя даты в один и тот же формат
- Загрузка данных в хранилище данных
Есть варинты перехода на 2 инструмента визуализации и нужно определиться с инструментом для ETL процесса, то есть полностью проконсультировать с таким процессом http://take.ms/t7MkG .
Необходимо внедрить преобразование данных с этих источников для легкого изучения в Tableau или zeppelin.apache.org или возможно есть другие варианты
Необходимо структурировать данные для оптимальной визуализации и импортирования Tableau или zeppelin.
-
Необходимо проконсультировать или внедрить процесс с 0?
-
Можу вас проконсультувати безкоштовно. Існує два варіанти:
Варіант 1. Ви - фірма середнього або великого розміру. Тоді ви наймаєте на ПОСТІЙНУ роботу BI спеціаліста, який створює вам архітектуру DW, OLAP куби, підключає BI засоби, etc. Фрілансери відпадають - вам потрібен постійний працівник.
Варіант 2. Ви - невелика фірма без значного бюджету. В такому випадку ми використовуємо концепцію self-BI і створюємо для себе data model за допомогою Power BI. В цьому випадку я (або інший фрілансер) можу вам допомогти в цьому.
-
Концепция self-BI как раз и интересует, но Power BI не нравится как инструмент.
-
Интересуют бесплатные инструменты?
Например, тот же Tablue платный.
-
Про то, что табло платный знаю. Но могут быть другие приимущества инструмента
-
Насколько большой объем данных?
БД Postgress на отдельных серверах стоят?
-
да прод бд на отделных серваках стоят,мы делаем копии для аналитики
-
А как вы представляете настройку процесса етл? Удаленно ? Каким способом?
Ведь это весьма трудоемкий процесс
-
А вкажіть, будь ласка, причини, чому не подобається power bi. І розкажіть, що ви взагалі хочете отримати.
-
Не нравится power bi - в плане визуализации, бизнес знаком с форматом Табло и поэтому предпочнения такие.
Первый этап – построениеблока хранилища данныхс возможностьюзагрузки данных из систем"источниковОтсутствие программирования и генерации кода
Отчетность построена набазе -
power bi - думаю досить простий має дуже обмежені можливості . навіть у порівнянні з екселем.
-
Приблизно зрозумів. В принципі я можу пошукати для вас підходяще рішення. І навіть маю вже одну ідею на думці, котру варто перевірити щонайперше. Але це займе певний час. І матиме певну ціну. Якщо хочете обговорити з подробицями, пишіть в особисті повідомлення.
-
Давайте обсудим
-
Нашли исполнителя ? Можем обсудить в ЛС
-
Ексель в качества клиента рассматрриваете ?
-
Я так понимаю вам нужен DWH + Olap + визуализация ?
1. данные планируется забирать по апи либо по прмому подключению к данным ?
2. требования к актуальности данных есть , или планируется обновлять отчтеты по расписанию ?
3. нарезка уровней доступа , по данным или доступным размерностям есть ?
4. Будут ли меняться структуры БД с которых нужно забирать информацию ?
-
А бюджет это на что ? такая сума ?!
-
Это бюджет на эксель в качестве клиента))
-
у вас если нет вопросов - зачем флудить?
-
Извините , но это не бюджет для реализации ETL процесса.
-
По опыту могу сказать , кроме екселя будет тяжко подобрать бесплатные компоненты, практические не реально. везде свои особенности.
-
Добрый,
Бесплатные ETL средства имеются, так как сейчас у каждого коммерческого проекта есть community направление и оно free. Либо коммерческое направление рождается из OpenSource проектов, в свою очередь последнее остается free.
Готов обсудить детали проекта ЛС, так как есть множество вопросов.
-
Current freelance projects in the category Databases & SQL
Eliminate the issue of incomplete data import from Excel files of Nova Poshta specifications into 1C:
45 USD
Goal: There is a processing in 1C for uploading the specifications of Nova Poshta. For unclear reasons, it has stopped loading some tabular data. We need to find the reason and eliminate the problem of incomplete data import from Excel files of Nova Poshta specifications into… System & Network Administration, Databases & SQL ∙ 2 days 8 hours back ∙ 16 proposals |
Accounting, planning, and sales system for a mushroom farm
601 USD
Here is the complete, final text of the Technical Assignment (TA). It combines all your requirements: 16 chambers, 20 contractors, a schedule by days, accounting for containers, profitability calculation, and a mandatory division into three grades of mushrooms. You can fully… Databases & SQL, Client Management & CRM ∙ 4 days 12 hours back ∙ 55 proposals |
External report 1C 8.3 — forecast of goods balances
22 USD
An external report (.erf) is needed for 1C:Enterprise 8.3 (configuration to be specified). What it should do: Extract product balances from the database Analyze sales history for the last 30 days Calculate the average sales rate for each product Determine how many days until the… Databases & SQL, Client Management & CRM ∙ 4 days 13 hours back ∙ 13 proposals |
Web Application & Database Security Audit for Custom CRM — BaaS / Database-as-API Specialist (Penetr
Project Overview We operate a custom-built customer relationship management (CRM) platform that runs two service businesses on a single system. It is a modern JavaScript web application backed by a backend-as-a-service (BaaS) database and deployed on a serverless hosting… Databases & SQL, Testing & QA ∙ 5 days 1 hour back ∙ 10 proposals |
Database synchronization
Synchronization of Microsoft Access programs and CRM SalesDrive. Data transfer from CRM to Microsoft Access in the first stage (changing the funnel status). Data transfer from Microsoft Access to CRM in the second stage (changing the status in the program). Databases & SQL ∙ 5 days 7 hours back ∙ 13 proposals |
Kyiv