vaassen
vaassen
采纳率42.9%
2020-09-07 10:20

Python:如何爬取到该数据?

20
  • python
已采纳

该网站不能使用urllib因为返回的是text/html,也无法使用bs4解析源代码得到结果,里面大量使用ajax技术进行组合返回数据。
所以我用selenium

browser.get(request_url)
html_text=browser.page_source

爬取如下网页结构:

<span class = "content">
“学号:”
<span>1233415</span>
",详细内容:"
<span class = "morelength">
" "...身高:"
<em class = "oas_impInfo">
167</em>
"cm..." "
</span>

爬出来的内容是

{“学号”:“1233415”, "详细内容:"\"...身高:", "cm...\""}

怎样才能获取的内容呢?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

2条回答

  • caozhy 从今以后生命中的每一秒都属于我爱的人 8月前

    首先 f12 抓包,看看 ajax 的 json 请求的实际地址是什么,然后用
    r = requests.get(request_url)
    obj = r.json()
    print(obj.学号)

    点赞 2 评论 复制链接分享
  • kingwolf_JavaScript 浴火_凤凰 8月前

    你是没获取到还是获取到了 不会解析内容?
    把你的代码发一下吧,尤其是网址 我在我这里试试

    点赞 评论 复制链接分享

相关推荐