weixin_39246284 2018-09-20 09:11 采纳率: 0%
浏览 3705
已结题

用beautifulsoup解析网页时获取的网页源码很多标签都未展开?

源码
#coding= gbk
import requests
import urllib.request
from bs4 import BeautifulSoup

num = 0

url = 'https://www.zhihu.com/lives'
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, 'html.parser')
print(soup)
想爬取关于知乎live的一些内容,但是返回的网页源码div标签都未展开,也就无法搜索到文本内容,求教大佬!另外还问一下对于知乎这种要向下滑动才能显示更多的网页,要如何改写代码,读取更多的内容?
图片说明
图片说明

  • 写回答

1条回答 默认 最新

  • dabocaiqq 2018-09-20 16:03
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题