Проекты_Tfidf

Python — неверно указаны категории?

Проект переведен автоматически. Войдите или зарегистрируйтесь, чтобы увидеть оригинал Используйте Python, чтобы завершить эту задачу.Пожалуйста, отправьте PDF со своим докладом.Мы рекомендуем вам напечатать домашнюю работу, а не писать вручную.Этот проект предназначен для того, чтобы помочь вам применить то, что вы узнали о тексте Parsing, Regex, и Tfidf к разным книгам.Вам не разрешается использовать текстовые пакеты обработки И следует рассчитать Tfidf с Pandas/Numpy.Вы будете использовать проект Гутенберг для В этой цели.Проект Гутенберг (Https: //Www.Gutenberg.Org/) представляет собой коллекцию более 70 000 бесплатных электронных книг. Доступны в разных форматах.Различные типы файлов каждой книги предоставляются, но вы будете использовать Файл .Txt для этого проекта.Однако, вы можете пересмотреть файлы Html5 для получения Представьте себе представление о содержании книг.В этом проекте вы будете распределить ряд документов, чтобы вывести термины, а затем использовать те, которые Срок для расчета Tfidf.Вы будете использовать рейтинг Tfidf для изучения документов, анализа Они сравнивают их и извлекают новую информацию о них.Вы свободны выбирать то, что Тип анализа, который вы хотите сделать на документах с использованием Tfidf.Рекомендуем Вам использовать Ваша креативность и выберите путь, который вас интересует больше всего.Вот два примера того, что Тип анализа, который вы можете сделать: • Сравнивать книги с различными темами.Э. Г Выберите 2 книги по биологии и 2 книги На закон, и сравнить их ключевые слова • сравнивать главы в рамках длительной книги, чтобы показать прогрессирование предмета.Э. Г Выберите Некоторые биографические книги и отделяют главы, затем сравнивают содержание Главы Пожалуйста, обратите внимание, что общий размер файлов, которые вы используете, не должен быть меньше 250 КБ.Так Пожалуйста, ознакомьтесь, если книги, на которых вы работаете, слишком длинные или слишком короткие.На основе ваших результатов и анализа вы напишете технический отчет.Язык из Доклад важен, потому что он предназначен для чтения кем-то, кто знаком с Данные, но их глубокого понимания не хватает.Подумайте о нем как о докладе, который вы передаете своему Шеф или директор на работе по науке данных.Так что вы должны включить точный резюме основного Точки отчета в начале.Для этого проекта вам необходимо выполнить набор необходимых общих задач.Вы поощряете - Старый, чтобы превышать эти требования и экспериментировать с различными идеями.1 Парсинг Пройдите через текстовый файл каждой книги, извлечь сырую версию документа, где вещи Такие как библиографическая информация, таблица содержимого, лицензии, дивиденды и т.д.Их удаляютСкачать все слова и удалить все точки с помощью команд Regex.разделить Слова и хранить их в списке.Этот процесс называется токенизацией.Опционально: Вы можете Исследуйте о голосовании и лемматизации, и используйте их также, если вы заинтересованы.Если вы Нужен пакет для голосования или Lemmatization, вы свободны использовать его, но реализация От Tfidf должно быть с Пандами.Используя Токенизированный список, создайте таблицу Word-Документа в виде Пандской базы данных.Помните, что если вы анализируете главы, каждая глава будет отдельным документом.Вы будете использовать эту таблицу и функции Pandas для выполнения следующих требований.Расскажите о любых проблемах, с которыми вы столкнулись для этой задачи, и о том, как вы их решили.Было форматирование Книга о вызове?2 Векторизация Для каждого документа создайте вектор частоты слова.Другими словами, вычислить TF (t, D) = F (t, D) / T'∈D f (t', D) для каждого термина t и документа D ∈ D. постарайтесь сортировать эти значения и исследовать ваш Изобретение .Можете ли вы извлечь какую-либо информацию из этих значений?Для каждого термина вычислить частоту обратного документа или ИДФ (т, Д) = лог (Н/1+Нт).Сортируйте эти значения и исследуйте свои результаты.Можно ли извлечь любую информацию из Эти ценности?3 ТФ-ИДФ Расчет стоимости Tfidf (t, D, D) = TF (t, D) · Tfidf (t, D) где N является числом Doc- Умен и NT - это количество документов, содержащих термин t, для каждого термина и Документальная пара.Посмотрите на самые высокие значения для каждого документа.Какой вид заключения Можете ли вы избавиться от этих ценностей?Исследуйте свои выводы.Попробуйте объяснить результаты и Используйте визуализации и таблицы, как вы видите, что они подходят.4 разведки (открыто и завершено) Каковы другие преимущества Tfidf?Как вы можете построить на своих результатах, чтобы извлечь больше Информацию ?Вы можете ответить на некоторые из этих вопросов, или предложить свое: Посмотрите на некоторые другие главы и книги из проекта Гутенберга, которые вы думаете, что могут Свяжитесь с выбранными вами книгами.Попробуйте сравнить их с первоначальными документами.может Вы используете Tfidf, чтобы рассчитать, насколько похожи разные документы?Вы можете использовать это для размещения Документы в разных группах?Попробуйте исследовать и использовать методы N-Gram Tfidf.Как Отличаются ли результаты Bigram или Trigram от 1-Gram Tfidf?

Ставки 4 Обсуждения 1