Parsing data using Deep Learning and Natural Language Understanding

Университетский проект. Нужно написать код, чтобы парсились данные из сайта . "Примечание: есть начало проекта, которое нужно доделать и желательно ничего не изменять. Надеюсь это поможет в работе).

На русском:

1. Получите текстовые данные либо от семантического исследователя, либо от arXiv.org для всех статей, в которых цитируется BERT (прямое цитирование, группа 1) или цитируется статья, которая сама цитирует BERT (косвенное цитирование, первый уровень, группа 2). o Получите аннотацию в качестве данных «основного текста» и следующие метаданные ▪ Авторы, название, дата публикации, конференция или журнал, где указано ▪ Принадлежность авторов и ключевые слова (теги), если они указаны ▪ Статьи, которые цитировались (ссылки ))

2. Используйте задачи глубокого обучения и понимания естественного языка, чтобы узнать о следующем (подсказка: не каждый отдельный аспект будет присутствовать в каждом реферате) o Категория (либо одна, либо несколько в статье), например, путем классификации. или кластеризация o Название модели и язык, на котором обучается представленная модель (например, статья «Следующая языковая модель Германии» цитирует BERT, но обучает Electra на немецких данных, статья «Об анализе вьетнамских настроений: метод трансферного обучения»). ”обучает BERT на вьетнамских данных) o Область применения, например, юридические данные, медицинские данные, научные статьи, … o Задача машинного обучения, к которой относится статья, например, ответы на вопросы, анализ настроений, нейронный машинный перевод, … o производительность модели на стандартизированных тестовых данных, например, SQuAD 2.0, GLUE, … (BLEU, оценка F1, точность и полнота, все, что упоминается в аннотации)

3. Поместите всю извлеченную информацию в базу данных neo4j. o Подумайте о хорошей модели графа, отражающей данные (например, узлы: статья, автор, организация, мл-задача, мл-модель, язык и ребра: является автором, связан с, применяется). -к, ...)

Оригинал:

1. Acquire text data from either semantic scholar or arXiv.org for all papers that cite BERT (direct cites, group1) or cite a paper that itself cites BERT (indirect cites, first level, group2). o Acquire the abstract as the “main text” data and the following metadata ▪ The authors, title, publishing date, conference, or journal, where stated ▪ The authors’ affiliation and keywords (tags) if stated ▪ Papers that were cited (references)

2. Use deep learning and natural language understanding tasks to find out about the following (hint: not every single aspect will be present in every abstract) o A category (either a single one or multiple ones per paper), e.g., by doing classification or clustering o The name of the model and the language that the presented model is trained on (e.g., the paper “Germany’s next language model” cites BERT but trains Electra on German data, the paper “On Vietnamese Sentiment Analysis: A Transfer Learning Method” trains BERT on Vietnamese data) o The application domain, e.g., legal data, medical data, scientific articles, … o The machine learning task, the paper deals with, e.g., question answering, sentiment analysis, neural machine translation, … o The performance of the model on standardized test data, e.g., SQuAD 2.0, GLUE, … (BLEU, F1 score, precision and recall, whatever is mentioned in the abstract)

3. Put all extracted information into a neo4j database.
o Think of a good graph model to reflect the data (e.g., the nodes: paper, author,
organization, ml-task, ml-model, language and the edges: is-author-of, is-affiliated with,
is-applied-to, …)