Настроить импорт данных из БД Firebird в BigQuery
Есть база данных Firebird с кучей интересной инфы 🙂
Нужно настроить регулярный импорт данных (дописать новые и обновить старые) в BigQuery и проконсультировать по экспорту данных из Firebird.
Сервис требует описание проекта больше 200 символов, именно поэтому вы читаете этот абзац...
-
3 days13 USD
2049 226 0 1 3 days13 USD
Здравствуйте, могу реализовать на java. С Firebird знаком, не работал с BigQuery, но могу разобраться, будет одна программа для экспорта и импорта.
-
Инструмент которым я пользуюсь для работы с Firebird позволяет создать только *.sql файл. Я бы мог создать программу которая может вытащить данные и сформировать csv, но буду занят ближайшие 2-3 недели. А вот как втянуть эти данные дальше не подскажу. Википедия говорит, что необходим импорт данных в формате CSV или JSON с Google Storage.
-
Вытащить данные из БД не проблема, там нужно только разобраться, какой объем и в каком формате выгружать.
Основная задача - настроить регулярный импорт в БК.
-
Там есть API https://cloud.google.com/bigquery/docs/reference/rest
Так что есть все шансы на успех
-
да, я мануалы читал, но квалификации не хватает, чтобы во всем разобраться и реализовать
-
если вы можете вытащить данные из файберда, то задача сильно упрощается.
есть неплохое апи для бигквери на питоне от одного крупного вендора, работает с форматами csv, json и другимипогуглю ещё и на выходных могу заняться
на какой бюджет рассчитываете?
-
Да, данные мы вытащим и отформатируем, нужно их загрузить в storage, потом импортировать в bigquery, настроить регулярные задачи и обновление данных (обновить старые и дописать новые)...
Ссылки на API даже чуть выше приводили
-
бюджет не формировали, отталкиваемся от предложений и здравого смысла 🙂
-
Уточните, пожалуйста, следующие моменты:
- версию Firebird;
- требуется ли импорт в саму базу Firebird?
- в Google Storage импортируются те данные, которые экспортированы из Firebird, или ещё дополнительные (посторонние)?
Имею большой опыт работы с Firebird. C Google Storage не работал, однако работал с JSON.
Могу написать программу на Delphi (Windows only) или Lazarus (+MacOS, +Linux). -
1. firebird 3.0
2. импорт обратно в базу firebird не нужен
3. в storage нужно импортировать данные из firebird. В big query импортируем данные из storage + ещё одну маленькую таблицу. Но она обновляется раз в месяц и это проще руками.
-
А вариант положить базу на виртуальный хост с FireBird и переносить через бекап и рестор на хост . И с ней уже работаете хоть Acces или другими средствами через подключение на удаленный хост
-
Вариант, но зачем изобретать что-то, если есть bigquery для работы с данными и там же data studio для их визуализации.
-
Current freelance projects in the category Databases & SQL
It is necessary to check the scripts and update the data in the Postgres database.It is necessary to correct the SQL scripts for the Postgres database. It is required to check the scripts and update data from external Excel tables and between two Postgres databases (different servers). Scripts will be run through AnyDesk using Navicat. List of data for… Databases & SQL ∙ 17 hours 19 minutes back ∙ 18 proposals |
Need an Airtable architect to build a relational schema and a new clean Airtable base.Need help rethinking and building a clean relational schema for an internal operational system on Airtable. The current database is already in use by the team, but it has grown organically: the structure is partially flat, some tables/views are actively used, while others are… Databases & SQL, Desktop Apps ∙ 1 day 10 hours back ∙ 9 proposals |
Basketball Coaching Education Platform + Custom CMSBasketball Coaching Education Platform + Custom CMSProject Overview We are looking for an experienced web development team or full-stack developer to build a modern basketball coaching education platform. The website will provide basketball coaches with access to educational… Databases & SQL, Web Programming ∙ 2 days 4 hours back ∙ 86 proposals |
Integration of Viber in 8.3
223 USD
Need Viber integration into own CRM (1C 8.3)About the Company The company "Domofon System" is engaged in the installation and maintenance of intercom systems. Base of over 40,000 subscribers. We work on our own customized system based on 1C 8.3. We are looking for a specialist… Databases & SQL, Bot Development ∙ 2 days 7 hours back ∙ 16 proposals |
Refinement of 1C UT 11 for Zebra TSD (RDP): different sound signals when scanning
22 USD
Configuration: 1C UT 11 Address warehouse Zebra TC26 TSD Work via RDP Product scanning is performed in receiving, placement, picking documents, and other warehouse operations. Current problem: Warehouse workers operate through the Zebra TSD. When scanning, they do not always… C#, Databases & SQL ∙ 4 days 5 hours back ∙ 6 proposals |
Kyiv