AlphaCats 2021-05-09 14:36 采纳率: 62.5%
浏览 296
已结题

python爬虫 爬取百度文库

百度文库只能爬取到第一页,第二页的内容在Network中找不到

url:https://wenku.baidu.com/view/609b5c42daef5ef7bb0d3c3c.html

我用的python3

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent':'Googlebot'}
url = str(input('url:    '))

res = requests.get(url,headers=headers)
bea = BeautifulSoup(res.text,'html.parser')
bea = bea.find_all('div',id='pageNo-2')
print(bea)


  • 写回答

4条回答 默认 最新

  • CSDN专家-黄老师 2021-05-10 10:14
    关注

    Network中找不到试试在doc里面能不能找到

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 10月29日
  • 已采纳回答 10月21日