l_future_ 2023-01-05 18:49 采纳率: 50%
浏览 67
已结题

Python如何进行停用词、词性过滤、去掉长度为1的字

请问大家,对文本数据进行分词处理后,使用python怎么进行停用词处理和词性过滤(假设只保留名词、动词、形容词),并将长度为1的字符去掉,不知道怎么将这三种操作结合,希望各位帮忙。

  • 写回答

2条回答 默认 最新

  • ShowMeAI 2023-01-05 19:39
    关注

    给你写了一个参考示例代码,希望对你有帮助,望采纳

    # 导入必要的库
    import jieba.posseg as pseg
    
    # 加载停用词
    stopwords = set()
    with open("stopwords.txt", "r", encoding="utf-8") as f:
        for line in f:
            stopwords.add(line.strip())
    
    # 进行词性过滤和停用词处理
    filtered_words = []
    for word, pos in pseg.cut(text):
        # 只保留名词、动词、形容词
        if pos in {"n", "v", "a"}:
            # 去掉长度为1的字符
            if len(word) > 1:
                # 去除停用词
                if word not in stopwords:
                    filtered_words.append(word)
    
    # 打印结果
    print(filtered_words)
    
    • 代码使用了jieba.posseg模块中的cut函数来对文本进行分词和词性标注。
    • 然后使用一个循环遍历词性标注结果,只保留名词、动词、形容词。
    • 同时还去掉了长度为1的字符,并使用停用词表进行了停用词处理。
    • 最后将经过处理的单词保存在了filtered_words列表中,并使用print函数将其输出。
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月17日
  • 已采纳回答 1月9日
  • 创建了问题 1月5日

悬赏问题

  • ¥15 请问不小心下载到了钓鱼软件怎么办?
  • ¥15 求国博抢票 求国博抢票 有的私
  • ¥50 swiftui @query 报错
  • ¥50 怎么解决刷卡或扫码后,点击软件输入框,win10屏幕键盘不会自动弹出的问题
  • ¥15 如何使用arcgispro的训练深度模型,发现water和nowater精度为0?(相关搜索:深度学习)
  • ¥20 matlab作业不太懂呀有问题能给个代码吗
  • ¥15 自制电路图为何无法驱动ESP01S?
  • ¥15 前端加access数据库
  • ¥15 ARCGIS 多值提取到点 ERROR 999999
  • ¥15 mysql异常断电, [MY-011971] [InnoDB]