买定离手m 2020-04-09 18:54 采纳率: 0%
浏览 781

新手python用xpath爬取m.weibo微博结果列表一直为空[]但插件xpathhelp返回是有数据的

图片说明

首先在network找到xhr的json数据包有requests.get到

图片说明

用parsel转换成xml格式打印都有结果
但是用xpath就出现问题,返回一直是空

图片说明

用xapthhelp插件是可以返回文字的

看遍攻略有的说是js会跳转,但还是找不到解决方案

import requests
import parsel
import json
import pprint


url = 'https://m.weibo.cn/api/container/getIndex?containerid=2304131645823934_-_WEIBO_SECOND_PROFILE_WEIBO'
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}

html = requests.get(url,headers = head).text
data = parsel.Selector(html)

print(data)#转换的xml有返回值

data_finally = data.xpath('//div[@class="weibo-text"]/text()').getall()
print(data_finally)#返回为空
  • 写回答

2条回答 默认 最新

  • zqbnqsdsmd 2020-04-10 09:44
    关注
    评论

报告相同问题?

悬赏问题

  • ¥50 树莓派安卓APK系统签名
  • ¥15 maple软件,用solve求反函数出现rootof,怎么办?
  • ¥65 汇编语言除法溢出问题
  • ¥15 Visual Studio问题
  • ¥15 state显示变量是字符串形式,但是仍然红色,无法引用,并显示类型不匹配
  • ¥20 求一个html代码,有偿
  • ¥100 关于使用MATLAB中copularnd函数的问题
  • ¥20 在虚拟机的pycharm上
  • ¥15 jupyterthemes 设置完毕后没有效果
  • ¥15 matlab图像高斯低通滤波