该网站不能使用urllib因为返回的是text/html,也无法使用bs4解析源代码得到结果,里面大量使用ajax技术进行组合返回数据。
所以我用selenium
browser.get(request_url)
html_text=browser.page_source
爬取如下网页结构:
<span class = "content">
“学号:”
<span>1233415</span>
",详细内容:"
<span class = "morelength">
" "...身高:"
<em class = "oas_impInfo">
167</em>
"cm..." "
</span>
爬出来的内容是
{“学号”:“1233415”, "详细内容:"\"...身高:", "cm...\""}
怎样才能获取的内容呢?