Python如何进行停用词、词性过滤、去掉长度为1的字

Question

请问大家，对文本数据进行分词处理后，使用python怎么进行停用词处理和词性过滤（假设只保留名词、动词、形容词），并将长度为1的字符去掉，不知道怎么将这三种操作结合，希望各位帮忙。

Answer 1

给你写了一个参考示例代码，希望对你有帮助，望采纳

# 导入必要的库
import jieba.posseg as pseg

# 加载停用词
stopwords = set()
with open("stopwords.txt", "r", encoding="utf-8") as f:
    for line in f:
        stopwords.add(line.strip())

# 进行词性过滤和停用词处理
filtered_words = []
for word, pos in pseg.cut(text):
    # 只保留名词、动词、形容词
    if pos in {"n", "v", "a"}:
        # 去掉长度为1的字符
        if len(word) > 1:
            # 去除停用词
            if word not in stopwords:
                filtered_words.append(word)

# 打印结果
print(filtered_words)

• 代码使用了jieba.posseg模块中的cut函数来对文本进行分词和词性标注。
• 然后使用一个循环遍历词性标注结果，只保留名词、动词、形容词。
• 同时还去掉了长度为1的字符，并使用停用词表进行了停用词处理。
• 最后将经过处理的单词保存在了filtered_words列表中，并使用print函数将其输出。