Парсинг и постинг данных (Программа под Windows)

Парсер уроков

Нужна десктопная программа под windows (не zennoposter)

Указывайте свою стоимость и сроки

Программа состоит из 3 модулей

1) Парсинг данных

2) Разбить файлы docx на файлы docx

3) Запостить/залить полученные docx в БД на сервер методами апи (методы уже есть) 

1. Описание парсера:

При запуске программы выбираем модуль (Парсер, Постинг или Создание карточек)

1) Парсер, показывает список предметов, классов и тп

Спартсить структуру и файлы к урокам, записать структуру во вложенные папки,
если надо создать файл эксель со структурой

(мы потом будем постить/загружать структуру в другую БД)

Нам нужно будет выбрать предмет, класс, тему которую будем парсить 

То есть при запуске сначала парсится список категорий - мы выбираем категорию

Далее парсится список классов - выбираем класс и учебник

Темы нужно выбрать все (по одной не будем выбирать)

И выбираем  тип материала (1 вариант)

На сайте покажется лента документов и форма с содержанием документа

Здесь нужно показать настройки (для выборки парсинга):

а) тип документа: docx, pdf ... (пока парсим только док, в будущем доделаем) 

б) Парсить только документы в названиях которых есть фразы и сделать поля для ввода фраз 

в) настройку задержки между запросами в секундах

Получается в итоге мы выбираем предмет, класс, учебник, тип материала, фиксируем настройки

Парсер создает на компьютере корневую папку с предметом, в ней папки с классами, в папках с классами учебники и далее по структуре учебника,

файлы с текстами должны находится в папках с названиями уроков

Также парсер должен создать таблицу эксель со структурой учебника и статистикой (если это пригодится для постинга, а так это не нужно)

Например, Математика/1 класс/Учебник/Тема/Урок/ кол-во файлов/ссылка на папку с уроком

Примечания по Модулю 1:

1) сохранять файлы нужно в формате docx

2) Исходники сохранять в отдельную папку в уроке

3) поля для настройки ключевых фраз добавлять в ручную с кнопки

У исходных файлов есть названия, например, "Тестовая работа ....",

Если в ключевых фразах указано "тест", то все файлы, в заголовках которых есть "тест" нам подходят

Сделать, чтобы было не точное совпадение, а главное чтобы в тексте содержалось условие 

в "тестовая работа" есть "тест" значит подходит

Вот сервис конвертации html в doc (как вариант или взять какой-нибудь с гитхаба)

https://products.aspose.com/ru/words/net/conversion/html-to-docx/

там открытый код, но надо проверить как будет конвертировать расположение картинок, таблиц

Модуль 2: Создание карточек

Из полученных файлов нужно автоматически сделать карточки (разбить исходный файл на файлы)

Сохранить их в отдельную папку в уроке

В настройках указать:

а) Разбивать текст по строкам, содержащим текст:

    поля для ввода (добавлять в ручную)

Например, в файле содержится текст

"Тестовая работа

Вариант 1

*

*

Вариант 2

"

если мы указываем в настройках условие разбивать по строке содержащим слово "вариант", то получится на выходе 2 файла разбитых  по строкам содержащим "вариант", точное сопоставления слов не нужно делать

если "вариант" содержится в "варианты" - то подходит 

б) Удалять строки, которые содержат слова: 

    поля для ввода (добавляются в ручную)

Например:

У нас получились файлы содержащие строки

"контрольная работа...."

"вариант..."

их мы будем удалять нашими условиями "контрольн", "вариант" и тп

Модуль 3

Выбрать предмет и учебник и загрузить методами апи в нашу БД