Парсер уроков
Нужна десктопная программа под windows (не zennoposter)
Указывайте свою стоимость и сроки
Программа состоит из 3 модулей
1) Парсинг данных
2) Разбить файлы docx на файлы docx
3) Запостить/залить полученные docx в БД на сервер методами апи (методы уже есть)
1. Описание парсера:
При запуске программы выбираем модуль (Парсер, Постинг или Создание карточек)
1) Парсер, показывает список предметов, классов и тп
Спартсить структуру и файлы к урокам, записать структуру во вложенные папки,
если надо создать файл эксель со структурой
(мы потом будем постить/загружать структуру в другую БД)
Нам нужно будет выбрать предмет, класс, тему которую будем парсить
То есть при запуске сначала парсится список категорий - мы выбираем категорию
Далее парсится список классов - выбираем класс и учебник
Темы нужно выбрать все (по одной не будем выбирать)
И выбираем тип материала (1 вариант)
На сайте покажется лента документов и форма с содержанием документа
Здесь нужно показать настройки (для выборки парсинга):
а) тип документа: docx, pdf ... (пока парсим только док, в будущем доделаем)
б) Парсить только документы в названиях которых есть фразы и сделать поля для ввода фраз
в) настройку задержки между запросами в секундах
Получается в итоге мы выбираем предмет, класс, учебник, тип материала, фиксируем настройки
Парсер создает на компьютере корневую папку с предметом, в ней папки с классами, в папках с классами учебники и далее по структуре учебника,
файлы с текстами должны находится в папках с названиями уроков
Также парсер должен создать таблицу эксель со структурой учебника и статистикой (если это пригодится для постинга, а так это не нужно)
Например, Математика/1 класс/Учебник/Тема/Урок/ кол-во файлов/ссылка на папку с уроком
Примечания по Модулю 1:
1) сохранять файлы нужно в формате docx
2) Исходники сохранять в отдельную папку в уроке
3) поля для настройки ключевых фраз добавлять в ручную с кнопки
У исходных файлов есть названия, например, "Тестовая работа ....",
Если в ключевых фразах указано "тест", то все файлы, в заголовках которых есть "тест" нам подходят
Сделать, чтобы было не точное совпадение, а главное чтобы в тексте содержалось условие
в "тестовая работа" есть "тест" значит подходит
Вот сервис конвертации html в doc (как вариант или взять какой-нибудь с гитхаба)
https://products.aspose.com/ru/words/net/conversion/html-to-docx/
там открытый код, но надо проверить как будет конвертировать расположение картинок, таблиц
Модуль 2: Создание карточек
Из полученных файлов нужно автоматически сделать карточки (разбить исходный файл на файлы)
Сохранить их в отдельную папку в уроке
В настройках указать:
а) Разбивать текст по строкам, содержащим текст:
поля для ввода (добавлять в ручную)
Например, в файле содержится текст
"Тестовая работа
Вариант 1
*
*
Вариант 2
"
если мы указываем в настройках условие разбивать по строке содержащим слово "вариант", то получится на выходе 2 файла разбитых по строкам содержащим "вариант", точное сопоставления слов не нужно делать
если "вариант" содержится в "варианты" - то подходит
б) Удалять строки, которые содержат слова:
поля для ввода (добавляются в ручную)
Например:
У нас получились файлы содержащие строки
"контрольная работа...."
"вариант..."
их мы будем удалять нашими условиями "контрольн", "вариант" и тп
Модуль 3
Выбрать предмет и учебник и загрузить методами апи в нашу БД
