qq_39367735
JordingZh
采纳率33.3%
2018-09-20 10:35 阅读 15.7k

python爬虫如何用beautifulsoup提取多层div标签下的内容

用request提取到的HTMLdiv标签未能展开,用findall方法,传入“div”“类名”做参数,也提取不到任何内容,求教!

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

2条回答 默认 最新

  • weixin_39416561 lyhsdy 2018-09-27 01:04

    URL是要爬的网址,classname是对应的类名称

    import requests 
    import bs4 
    import re 
    url='https://www.XXXX.com'
    response = requests.get(url).text
    soup = bs4.BeautifulSoup(response,'html.parser')
     for i in soup.findAll(name='div',attrs = {'class':'classname'})       
        print (i)
    
    点赞 4 评论 复制链接分享
  • weixin_45949517 安儿 。 2020-11-13 09:18

    楼主我也想知道这该怎么办,多层div下的文字内容读取不出来

    点赞 评论 复制链接分享

相关推荐