如何从大到小排序tf-idf值最高的单词，并将值高的单词和对应的tf-idf值打印出来

Question

如何从大到小排序tf-idf值最高的单词，并将值高的单词和对应的tf-idf值打印出来？

import re
from sklearn.feature_extraction.text import TfidfVectorizer

# 定义文档集合
documents = []
with open('D:\\用户-\\Downloads\\分词结果.txt', 'r', encoding='utf-8') as file:
    # 逐行读取文件内容并添加到documents列表中
    words = []
    for line in file:
        # 去掉多余的空格和换行符
        words.append(line.strip())
    # 将所有单词组合成一个句子或文档
    documents.append(' '.join(words))

# 创建TfidfVectorizer对象
vectorizer = TfidfVectorizer()

# 计算TF-IDF值
tfidf_matrix = vectorizer.fit_transform(documents)

# 获取词语列表
feature_names = vectorizer.get_feature_names()

# 打印每个词语的TF-IDF值
for i in range(len(documents)):
    print("Document", i+1)
    for j in range(len(feature_names)):
        print(feature_names[j], ":", tfidf_matrix[i, j])

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

问题概括

这个问题的目的是要使用Python和sklearn库中的TfidfVectorizer类来计算给定文档集合中每个单词的TF-IDF值，然后按照TF-IDF值从大到小排序，并将排序后的单词及其对应的TF-IDF值打印出来。

问题出现原因

根据提供的详细内容，问题出现的原因可能包括：

1. 代码中存在语法错误，如字符串连接时缺少+号，encoding关键字后缺少冒号。
2. documents列表在words列表之前被引用，但尚未初始化或赋值。
3. tfidf_matrix没有正确计算或赋值，因为它需要通过vectorizer.fit_transform(documents)得到，但vectorizer没有接收任何参数。
4. print语句中使用tfidf_matrix[i, j]，但tfidf_matrix没有在之前的代码中定义。

问题解决方案

为了解决这些问题，我们需要修正代码中的语法错误，确保documents和tfidf_matrix被正确初始化和计算，然后使用适当的方法来获取和打印每个单词的TF-IDF值。

提供示例

以下是修正后的代码示例：

import re
from sklearn.feature_extraction.text import TfidfVectorizer

# 初始化文档集合
documents = []

# 读取文件并填充文档集合
with open('D:\\用户-\\Downloads\\分词结果.txt', 'r', encoding='utf-8') as file:
    for line in file:
        # 去掉多余的空格和换行符，并将单词添加到文档集合中
        documents.append(line.strip())

# 创建TfidfVectorizer对象并计算TF-IDF值
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(documents)
feature_names = vectorizer.get_feature_names()

# 获取TF-IDF值的数组表示
tfidf_array = tfidf_matrix.toarray()

# 打印每个词语的TF-IDF值，并按照从大到小的顺序排序
for name in feature_names:
    # 找到该特征在矩阵中的索引
    index = feature_names.index(name)
    # 计算TF-IDF值的平均值
    value = sum(tfidf_array[:, index]) / len(documents)
    print(f"Word: {name}, TF-IDF Value: {value}")
    # 如果需要打印每个文档中该词的TF-IDF值，可以取消下面两行的注释
    # for i in range(len(documents)):
    #     print(f"Document {i+1}, {name}: {tfidf_matrix[i, index]}")

# 根据TF-IDF值对单词进行排序并打印
sorted_words = sorted(zip(feature_names, [sum(tfidf_array[:, i]) / len(documents) for i in range(len(feature_names))]), key=lambda x: x[1], reverse=True)
for word, tf_idf in sorted_words:
    print(f"Word: {word}, TF-IDF Value: {tf_idf}")

示例代码运行方式

为了运行这段代码，你需要有Python环境，并且安装了scikit-learn库。你可以将这段代码保存为.py文件，并在命令行中运行它，或者在任何支持Python的IDE中运行。

示例代码预期运行结果

代码将会打印出每个单词的TF-IDF值，并按照从大到小的顺序对这些单词进行排序。最后，它将打印出排序后的单词及其对应的TF-IDF值。如果文档集合和分词结果.txt文件中的内容有所不同，那么输出的TF-IDF值也会有所不同。