GISer小萌新 2022-03-30 17:58 采纳率: 50%
浏览 84
已结题

python requests爬取网页内容为空白

img


import re
import requests
from fake_useragent import UserAgent

headers = {"User-Agent" : UserAgent().random}
PaperUrl = 'https://www.sciencedirect.com/search/api?
param = {'qs': 'car tourism',
'pub': 'Tourism Management',
'cid': 271716,
't': 'ZNS1ixW4GGlMjTKbRHccgTrm%2F%2BWBqyPRxQfBpALgy5yV6QyxSK1wRiqbcvDgEHZYlsq2d8X3OTZN7UG%2FlCjz%2Bm6L4PUF0k6HOGFg%2Fg7RmusmZ0Q28STvJ9SQp7Q5GFRFvKdDbfVcomCzYflUlyb3MA%3D%3D',
'hostname': 'www.sciencedirect.com'}
page_text = requests.get(PaperUrl, params = param, headers = headers).text
print(page_text)
有人知道如何能爬到吗
要爬的网址页面:https://www.sciencedirect.com/search?qs=car%20tourism&pub=Tourism%20Management&cid=271716

img

img


是正常响应的
F12开发工具中找到的api接口(其中里面有文章名称、作者名、发表日期等):https://www.sciencedirect.com/search/api?qs=car%20tourism&pub=Tourism%20Management&cid=271716&t=ZNS1ixW4GGlMjTKbRHccgTrm%252F%252BWBqyPRxQfBpALgy5yV6QyxSK1wRiqbcvDgEHZYlsq2d8X3OTZN7UG%252FlCjz%252Bm6L4PUF0k6HOGFg%252Fg7RmusmZ0Q28STvJ9SQp7Q5GFRFvKdDbfVcomCzYflUlyb3MA%253D%253D&hostname=www.sciencedirect.com
但是返回的结果是空的,状态代码401.请问怎么办啊

  • 写回答

1条回答 默认 最新

  • 怀念不必想念 2022-04-01 10:18
    关注

    看看是不是这个

    img

    img

    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 9月15日
  • 修改了问题 3月30日
  • 修改了问题 3月30日
  • 修改了问题 3月30日
  • 展开全部

悬赏问题

  • ¥15 python的qt5界面
  • ¥15 无线电能传输系统MATLAB仿真问题
  • ¥50 如何用脚本实现输入法的热键设置
  • ¥20 我想使用一些网络协议或者部分协议也行,主要想实现类似于traceroute的一定步长内的路由拓扑功能
  • ¥30 深度学习,前后端连接
  • ¥15 孟德尔随机化结果不一致
  • ¥15 apm2.8飞控罗盘bad health,加速度计校准失败
  • ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
  • ¥15 谁有desed数据集呀
  • ¥20 手写数字识别运行c仿真时,程序报错错误代码sim211-100