Стратегия ETL
164 PLNЕсть много данных, необходимо сделать много работы, чтобы подготовить их.
Данные должны быть собраны, очищены и отформатированы правильно и сохранены в одном месте для анализа. То есть нужно создать хранилище данных .
Существует следующие источники данных га(из него тянуться ивенты контактов, сессии, юзеры), бд (много их(каталог, чаты, модерация, юзеры, пеймент))
Google analytics
Posrtgres
BigQuery (без агригирования)
Хотя данные доступны в других местах, на самом деле это не полезно для анализа до тех пор, пока не будет сделано хранилище.
В этоге нужна Многомерная база данных , которая могла содержать всю информацию в одной и той же базе данных.
Получение данных для анализа
Сбор, подготовка и хранение данных в хранилище данных осуществляется с помощью процесса, называемого ETL.
- Извлечение данных из внутренних и внешних источников
- Преобразовать данные в стандартный формат - например, конвертируя даты в один и тот же формат
- Загрузка данных в хранилище данных
Есть варинты перехода на 2 инструмента визуализации и нужно определиться с инструментом для ETL процесса, то есть полностью проконсультировать с таким процессом http://take.ms/t7MkG .
Необходимо внедрить преобразование данных с этих источников для легкого изучения в Tableau или zeppelin.apache.org или возможно есть другие варианты
Необходимо структурировать данные для оптимальной визуализации и импортирования Tableau или zeppelin.
-
Необходимо проконсультировать или внедрить процесс с 0?
-
Можу вас проконсультувати безкоштовно. Існує два варіанти:
Варіант 1. Ви - фірма середнього або великого розміру. Тоді ви наймаєте на ПОСТІЙНУ роботу BI спеціаліста, який створює вам архітектуру DW, OLAP куби, підключає BI засоби, etc. Фрілансери відпадають - вам потрібен постійний працівник.
Варіант 2. Ви - невелика фірма без значного бюджету. В такому випадку ми використовуємо концепцію self-BI і створюємо для себе data model за допомогою Power BI. В цьому випадку я (або інший фрілансер) можу вам допомогти в цьому.
-
Приблизно зрозумів. В принципі я можу пошукати для вас підходяще рішення. І навіть маю вже одну ідею на думці, котру варто перевірити щонайперше. Але це займе певний час. І матиме певну ціну. Якщо хочете обговорити з подробицями, пишіть в особисті повідомлення.
-
Ексель в качества клиента рассматрриваете ?
-
Я так понимаю вам нужен DWH + Olap + визуализация ?
1. данные планируется забирать по апи либо по прмому подключению к данным ?
2. требования к актуальности данных есть , или планируется обновлять отчтеты по расписанию ?
3. нарезка уровней доступа , по данным или доступным размерностям есть ?
4. Будут ли меняться структуры БД с которых нужно забирать информацию ?
-
А бюджет это на что ? такая сума ?!
-
По опыту могу сказать , кроме екселя будет тяжко подобрать бесплатные компоненты, практические не реально. везде свои особенности.
-

Добрый,
Бесплатные ETL средства имеются, так как сейчас у каждого коммерческого проекта есть community направление и оно free. Либо коммерческое направление рождается из OpenSource проектов, в свою очередь последнее остается free.
Готов обсудить детали проекта ЛС, так как есть множество вопросов.
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
System ewidencji, planowania i sprzedaży dla farmy grzybowej
2215 PLN
Oto pełny, finalny tekst Technicznego Zadania (TZ). Łączy on wszystkie Twoje wymagania: 16 komór, 20 kontrahentów, harmonogram po dniach, ewidencja opakowań, obliczenie rentowności oraz obowiązkowy podział na trzy gatunki grzybów. Możesz całkowicie skopiować ten tekst i wysłać… Bazy danych i SQL, Zarządzanie klientami i CRM ∙ 1 dzień 15 godzin temu ∙ 51 ofert |
Zewnętrzny raport 1C 8.3 — prognoza stanów towarów
82 PLN
Potrzebny zewnętrzny raport (.erf) dla 1C:Enterprise 8.3 (konfiguracja do ustalenia). Co ma robić: Wyciągać stany towarów z bazy Analizować historię sprzedaży za ostatnie 30 dni Liczyć średni tempo sprzedaży dla każdego towaru Określać, po ilu dniach towar się skończy Oznaczać… Bazy danych i SQL, Zarządzanie klientami i CRM ∙ 1 dzień 15 godzin temu ∙ 13 ofert |
Audyt bezpieczeństwa aplikacji internetowej i bazy danych dla niestandardowego CRM — specjalista BaaS / Database-as-API (PenetrPrzegląd projektu Obsługujemy platformę zarządzania relacjami z klientami (CRM) stworzoną na zamówienie, która prowadzi dwa biznesy usługowe w jednym systemie. Jest to nowoczesna aplikacja internetowa JavaScript wspierana przez bazę danych jako usługa (BaaS) i wdrożona na… Bazy danych i SQL, Testowanie i kontrola jakości ∙ 2 dni 4 godziny temu ∙ 10 ofert |
Synchronizacja baz danychSynchronizacja programów Microsoft Access i CRM SalesDrive. Przekazywanie danych z CRM do Microsoft Access na pierwszym etapie (zmiana statusu lejka). Przekazywanie danych z Microsoft Access do CRM na drugim etapie (zmiana statusu w programie). Bazy danych i SQL ∙ 2 dni 10 godzin temu ∙ 12 ofert |
Konfiguracja systemu kopii zapasowej i optymalizacja infrastruktury serwerowejCel prac: Zapewnienie niezawodnego przechowywania danych systemu CRM i aplikacji poprzez wdrożenie zautomatyzowanego systemu tworzenia kopii zapasowych (Backups), a także przeprowadzenie szeregu poprawek serwerowych w celu zwiększenia stabilności, bezpieczeństwa i wydajności… DevOps, Bazy danych i SQL ∙ 3 dni 8 godzin temu ∙ 25 ofert |