Есть более 30 архивов с json объектами (nosql dump предположительно mongo), распакованный объем 4гб.
Пример вот тут
https://mostdannyh.bitrix24.ru/~wDTBF
полный архив тут
https://openngo.ru/opendata/
объекты правильные, тоесть поля у них единые, пример распарсенных объектов
https://mostdannyh.bitrix24.ru/~ElSyi
объекты нужно по полям загрузить в соответсвующие поля таблицы, куда я буду кидать обычные sql запросы
CREATE TABLE public.fulldata
(
minjustregnum character varying(255),
regionname character varying(255),
logo character varying(255),
statusdetail_name character varying(255),
statusdetail_code character varying(255),
statusdetail_shortname character varying(255),
fullname character varying(255),
datereg character varying(255),
minjustform character varying(255),
charter character varying(255),
minjuststatus character varying(255),
ogrn bigint NOT NULL,
opf_name character varying(255),
opf_code character varying(255),
opf_version character varying(255),
oktmo_name character varying(255),
oktmo_code character varying(255),
egrulstatus character varying(255),
mainokved_name character varying(255),
mainokved_code character varying(255),
mainokved_version character varying(255),
regioncode character varying(255),
incometotal character varying(255),
email character varying(255),
administrators_0_name character varying(255),
administrators_0_title character varying(255),
inn character varying(255),
okpo character varying(255),
origindate_date character varying(255),
website character varying(255),
dateliquid character varying(255),
address character varying(255),
okogu_name character varying(255),
okogu_code character varying(255),
kpp character varying(255),
hasregionalsupport character varying(255),
addokved jsonb,
okato_name character varying(255),
okato_code character varying(255),
okfs_name character varying(255),
okfs_code character varying(255),
website_punycode character varying(255),
shortname character varying(255),
dateogrn_date character varying(255),
socialmedia_youtube character varying(255),
socialmedia_vk character varying(255),
socialmedia_facebook character varying(255),
socialmedia_twitter character varying(255),
socialmedia_instagram character varying(255),
socialmedia_ok character varying(255),
dateliquid_date character varying(255),
contracts44_2021_sum character varying(255),
contracts44_2021_count character varying(255),
administrators_1_name character varying(255),
administrators_1_title character varying(255),
datereg_date character varying(255),
contracts44_2020_sum character varying(255),
contracts44_2020_count character varying(255),
CONSTRAINT fulldata_pkey PRIMARY KEY (ogrn)
)
1. большое jsonb поле в объектах addokved не грузим вовсе,
2. иные большие jsonb поля объектов (
chiefs
successors
grants
administrators
contracts44
contracts93
contracts223
) в таблице распарсены до отд значений в каждое поле, но в json - это просто jsonb объекты, можно НЕ парсить, а залить как jsonb в одну или несколько отдельных таблицэ, где PRIMARY KEY (ogrn)
3. главное условие поля:
это строго целые числа
даты создания или ликвидации - даты
остальное varchar или text по необходимости
после загрузки произвести базовые проверки (общее количество заполненных строк, распределение частот ключевых признаков opf_name, mainokved_name , mainokved_code ) - просто убедиться что база втянута корректно
