MustafaDe 2022-10-25 13:23 采纳率: 33.3%
浏览 25
已结题

机器学习去除停用词问题

分词之后 去除停用词运行结果出问题了 有人知道是什么原因吗?

import pandas as pd  # pandas模块用于读取和处理数据
import jieba  # jieba模块用于对短信内容进行分词
from sklearn.feature_extraction.text import CountVectorizer  # 文本特征抽取
from sklearn.model_selection import train_test_split  # 划分训练集和测试集

def swindle():
    # 读取数据和处理数据
    data = pd.read_table("swindle_text.txt", sep="\t", header=None, nrows=10000, names=["标签", "短信内容"])
    new_data = []
    # 进行分词
    data['分词后数据'] = data["短信内容"].apply(lambda x: ' '.join(jieba.cut(x)))

    # 去除停用词
    # stpwrdpath = "/Users/mustafa-de/PycharmProjects/pythonProject/mechine_swindle/stop_words.txt"
    with open('stop_words.txt', 'rb') as f:
        stopword = f.read().decode('utf-8')  # 停用词提取
        stpwrdlst = stopword.splitlines()  # 将停用词表转换为list

        for word in data:
            if word not in stpwrdlst:
                new_data.append(word)
    print(new_data)

    # 提取特征

    # 分割训练集和测试集

    return None


if __name__ == "__main__":
    swindle()


  • 写回答

1条回答 默认 最新

  • 於黾 2022-10-25 13:58
    关注

    data是个表啊
    for word in data:
    word是个行吗?

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 11月2日
  • 已采纳回答 10月25日
  • 创建了问题 10月25日

悬赏问题

  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥16 mybatis的代理对象无法通过@Autowired装填
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示
  • ¥15 求三国群英传pl国战时间的修改方法
  • ¥15 matlab代码代写,需写出详细代码,代价私
  • ¥15 ROS系统搭建请教(跨境电商用途)
  • ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。