sinat_39294068 2022-01-21 09:58 采纳率: 100%
浏览 77
已结题

python爬虫初学者,网页手动打开过才显示数据,爬虫访问没打开过的网页,爬不到数据怎么办?

img


以前打开过的网页,会有js_r['model']['in']属性 ,没手动打开过得js_r['model']是空的。
下图是打开手动网页看到的。没点开过的用爬虫获取发现都是空的,这种怎么办?

img

网址:https://uc.educity.cn/tiku/examinationModeCopy.html?mode=exe&testId=21554465&subjectCode=100110021010&sjId=30443392
代码:

import requests
import json
headers= {
    'Origin': 'https://uc.educity.cn',
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36',
    'Cookie':''}
url='https://uc.educity.cn/ucapi/uc/paper/loadNotEndTestLog.do'
list=('30444522', '30443957', '30443392', '30442827', '30442262', '30441697', '30441132', '30440567', '30440002', '30439437', '30438872', '30438307', '30437742', '30437177', '30436612')

for s in list:
    data={'tcId':s}
    r=requests.post(url,headers=headers,data=data)
    js_r=r.json()
    if js_r['model'] != {}:
        print(js_r['model']['id'])
    else:
        print(js_r)


  • 写回答

2条回答 默认 最新

  • CSDN专家-黄老师 2022-01-21 10:09
    关注

    将请求头的参数都设置进去,然后在独立设置cookie参数

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 1月21日
  • 已采纳回答 1月21日
  • 创建了问题 1月21日

悬赏问题

  • ¥15 ensp如何拼通IP地址
  • ¥15 saber软件导入Ibis模型报错
  • ¥15 商城生产日期批次库存问题
  • ¥15 esp8266控制共阳极wrgb灯板无法关闭所有led灯
  • ¥100 python读取速度问题
  • ¥15 stm32f407使用DMA问题
  • ¥15 您好 这个API接口该怎么弄 网站搭建好了 API也有 现在就不知道该怎么填写API 不知道怎么用
  • ¥88 用uniapp写一个多端的程序,用到高德地图,用高德的JSAPI吗?
  • ¥20 关于#c++#的问题:水果店管理系统
  • ¥30 dbLinq最新版linq sqlite