Google BigQuery Integration with MS Server
13 000 UAHЕсть написанное решение https://github.com/OWOX/BigQuery-integrations/blob/master/mysql/README.md
Интеграция MYSql с Big Query.
Нам необходимо написать аналогичное решение только для трансфера данных с Сиквел сервера.
- скрипт должен загружать данные в Big Query,
- скрипт должен дописывать данные ориентируясь на дату или уникальный идентификатор.
- в интеграции будет участвовать много таблиц и столбцов ( около 200 таблиц и 2000 столбцов), поэтому настройка передачи всех таблиц должна быть удобная для пользователя
Данным решением планируется догружать несколько млн строк в день.
Решение должно давать возможность настроить скедульное обновление ( например, раз в день)
-
333 18 0 2 Добрый день ! Могу реализовать данную задачу на python. Скрипт будет коннектиться к базе данных и выгружать данные из таблиц в csv файлы и потом загружать эти данные в Google Bucket и далее в BigQuery. Как вам такой подход?
-
Здесь нужно решение универсальное под 200 таблиц? Или етл процес под 1?
-
Актуальные фриланс-проекты в категории Базы данных и SQL
Нужен специалист по Power BI для построения управленческой отчетности на базе BAS Бухгалтерия КОРПО компанииМы являемся дистрибьютором международных спортивных брендов в Украине. Учет ведется в BAS Бухгалтерия КОРП.Ищем специалиста, который поможет построить систему управленческой отчетности для руководства компании на базе Power BI.Важно: нас интересует не просто… Базы данных и SQL, Бухгалтерские услуги ∙ 3 часа 26 минут назад ∙ 2 ставки |
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 5 часов 17 минут назад ∙ 25 ставок |
Техническое задание: Интеграция чат-бота Telegram с BAS1. Общая информация Необходимо реализовать интеграцию чат-бота с системой BAS для передачи и записи данных о товарах (заказах). 2. Входные данные (что передает чат-бот): ID группы Название товара (с кодом товара) Цена товара 3. Логика работы: При нажатии на кнопку Заказать… Автоматизация управления предприятием, Базы данных и SQL ∙ 6 часов 24 минуты назад ∙ 13 ставок |
База 1С для предприятияНужна база для ведения склада авторазборки, контроля финансов и формирования заказов. Необходимо добавлять автомобиль как объект и закреплять за ним запчасти. Полную структуру и то, как должно выглядеть и работать, расскажу во время разговора. Базы данных и SQL ∙ 15 часов 58 минут назад ∙ 6 ставок |
Интеграция данных 1СОрганизовать качественную подготовку и переток данных из 1С в BigQuery для дальнейшего использования в Looker:Организовать данные в соответствии с тем, какие поля нужны.Подготовить понятную структуру таблиц и промежуточных наборов данных, на которых будут строиться… Базы данных и SQL, Обработка данных ∙ 1 день 21 час назад ∙ 9 ставок |