使用pycharm编写程序爬取了某个微博用户的评论数据存在Excel中，但是不知道如何对该数据进行清洗，评论数据里有许多表情，HTML等。本人只是个科研小白，希望将数据处理方便后续分析，球球各位大佬了!!!非常感谢!!!
2条回答 默认 最新
CSDN专家-HGJ 2021-09-06 16:05关注对数据清洗用的比较多的是re正则和pandas，写好正则表达式，用re.findall()查找，re.sub（）替换。如用pandas可使用df[列名].str.replace()等方法。
本回答被题主选为最佳回答 , 对您是否有帮助呢?评论 打赏解决 1无用举报
分享
- 2020-11-24 19:54weixin_39768762的博客 1，实现效果2，数据库3，主要步骤1，输入账号密码，模拟新浪微博登陆2，抓取评论页的内容3，用正则表达式过滤出用户名，评论时间和评论内容4，将得到的内容存入数据库5，用SQL语句实现其他功能：例如统计评论次数等4...
- 2025-08-12 17:00Python_trys的博客 本文将详细介绍如何使用Python爬取微博数据，包括用户信息、微博内容、评论等，并提供完整的代码实现。建议初学者从移动端API开始尝试，遇到问题时可以结合Selenium解决。完整代码已提供，可以直接运行测试。使用...
- 2025-05-14 17:31Python_trys的博客 本文从基础到进阶讲解了微博数据爬取的多种方法，涵盖了网页解析、API调用、数据...数据清洗：微博正文包含HTML标签和表情符号，需要特殊处理。更新维护：微博前端结构经常变动，爬虫需要定期更新。6.1 使用代理IP。
- 2020-12-04 10:48weixin_39867200的博客 前言：本文主要涉及知识点包括新浪微博爬虫、python对数据库的简单读写、简单的列表数据去重、简单的自然语言处理(snowNLP模块、机器学习)。适合有一定编程基础，并对python有所了解的盆友阅读。相信最近科技圈都在...
- 2018-08-16 11:28weixin_30314813的博客 抓取到的评论数据非常滴脏，其中有一些无用信息，所以目标就是只提取其中的中文文字内容 评论中会存在很多表情，如下所示 不是很快就撤了吗？ <span class="url-icon"><img alt="[吃瓜]" src="//h5....
- 2019-05-07 18:10URPG的博客 第一次爬虫就是爬微博的评论（爬虫—只要能看就能爬） 准备工作： Python2.7（看个人习惯）、FireFox浏览器（看个人习惯） Python安装什么的网上一大堆教程，我不班门弄斧了 FireFox感觉我个人感觉好用一点，比...
- 2021-04-25 11:45大院子的水的博客 以下是学习使用Python爬取热门微博评论时遇到的问题以及解决措施，希望通过纪录这一过程，能使自己对Python爬取有更深的了解并且更加得心应手。 使用Python 3.7.6，开发环境是awaconda spyder。 问题 问题1：User...
- 2025-07-16 11:16Olivia-gogogo的博客 微博亚运会评论情感与主题分析研究摘要 本研究基于微博平台2023年亚运会相关评论数据，采用情感分析、词频统计和LDA主题建模等方法，揭示了公众对亚运会的情感倾向与关注主题。研究发现，微博评论整体呈现积极情感，...
- 2019-12-21 20:54blmoistawinde的博客 在做文本分类的实验时，找到一个微博的情感分析语料，但是其中保留了很多微博中的特殊符号，对于算法的训练来说不太有利。 从上面的图中可以看到，微博里主要有几种特殊格式： 网页 @用户名（包括转发路径上的其他...
- 2021-10-19 19:18Cachel wood的博客 def addword(filename): path = '.\emotion_lexicon\\' for i in range(len(filename)): jieba.load_userdict(path + filename[i]) #评论清洗，去除网址url,@,无意义内容等 def cleanword(): with open('weibo.txt',...
- 没有解决我的问题, 去提问
问题事件
系统已结题
9月14日
已采纳回答
9月6日-
创建了问题
9月6日