vaassen 2020-09-07 02:20 采纳率: 42.9%
浏览 112
已采纳

Python:如何爬取到该数据?

该网站不能使用urllib因为返回的是text/html,也无法使用bs4解析源代码得到结果,里面大量使用ajax技术进行组合返回数据。
所以我用selenium

browser.get(request_url)
html_text=browser.page_source

爬取如下网页结构:

<span class = "content">
“学号:”
<span>1233415</span>
",详细内容:"
<span class = "morelength">
" "...身高:"
<em class = "oas_impInfo">
167</em>
"cm..." "
</span>

爬出来的内容是

{“学号”:“1233415”, "详细内容:"\"...身高:", "cm...\""}

怎样才能获取的内容呢?

  • 写回答

2条回答 默认 最新

  • threenewbee 2020-09-07 05:20
    关注

    首先 f12 抓包,看看 ajax 的 json 请求的实际地址是什么,然后用
    r = requests.get(request_url)
    obj = r.json()
    print(obj.学号)

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)
编辑
预览

报告相同问题?

悬赏问题

  • ¥15 PADS Logic 原理图
  • ¥15 PADS Logic 图标
  • ¥15 电脑和power bi环境都是英文如何将日期层次结构转换成英文
  • ¥20 气象站点数据求取中~
  • ¥15 如何获取APP内弹出的网址链接
  • ¥15 wifi 图标不见了 不知道怎么办 上不了网 变成小地球了
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部