个人使用八爪鱼软件进行b站评论区数据爬取的过程中,发现软件在翻页后始终进行固定元素列表操作
经过排查发现问题出在翻页后软件无法获取第二页搜索结果视频的xpath,特来求解
此外,本人也发现对于b站评论区的追评部分,软件没有办法将其视作和初始评论相同,就导致了在爬取时会采用创建新字段的方式获取。这影响了爬取的数量和效率,想请问该如何实现自动点击评论区中的更多评论键(包括评论的翻页)功能,并将追评和首次评论放到同一列?
烦请各位帮忙解决,谢谢!
注:附上当前我的流程图
个人使用八爪鱼软件进行b站评论区数据爬取的过程中,发现软件在翻页后始终进行固定元素列表操作
经过排查发现问题出在翻页后软件无法获取第二页搜索结果视频的xpath,特来求解
此外,本人也发现对于b站评论区的追评部分,软件没有办法将其视作和初始评论相同,就导致了在爬取时会采用创建新字段的方式获取。这影响了爬取的数量和效率,想请问该如何实现自动点击评论区中的更多评论键(包括评论的翻页)功能,并将追评和首次评论放到同一列?
烦请各位帮忙解决,谢谢!
注:附上当前我的流程图
【相关推荐】