sinat_39294068 2022-01-21 09:58 采纳率: 100%
浏览 76
已结题

python爬虫初学者,网页手动打开过才显示数据,爬虫访问没打开过的网页,爬不到数据怎么办?

img


以前打开过的网页,会有js_r['model']['in']属性 ,没手动打开过得js_r['model']是空的。
下图是打开手动网页看到的。没点开过的用爬虫获取发现都是空的,这种怎么办?

img

网址:https://uc.educity.cn/tiku/examinationModeCopy.html?mode=exe&testId=21554465&subjectCode=100110021010&sjId=30443392
代码:

import requests
import json
headers= {
    'Origin': 'https://uc.educity.cn',
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36',
    'Cookie':''}
url='https://uc.educity.cn/ucapi/uc/paper/loadNotEndTestLog.do'
list=('30444522', '30443957', '30443392', '30442827', '30442262', '30441697', '30441132', '30440567', '30440002', '30439437', '30438872', '30438307', '30437742', '30437177', '30436612')

for s in list:
    data={'tcId':s}
    r=requests.post(url,headers=headers,data=data)
    js_r=r.json()
    if js_r['model'] != {}:
        print(js_r['model']['id'])
    else:
        print(js_r)


  • 写回答

2条回答 默认 最新

  • CSDN专家-黄老师 2022-01-21 10:09
    关注

    将请求头的参数都设置进去,然后在独立设置cookie参数

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 1月21日
  • 已采纳回答 1月21日
  • 创建了问题 1月21日

悬赏问题

  • ¥15 c语言怎么用printf(“\b \b”)与getch()实现黑框里写入与删除?
  • ¥20 怎么用dlib库的算法识别小麦病虫害
  • ¥15 华为ensp模拟器中S5700交换机在配置过程中老是反复重启
  • ¥15 java写代码遇到问题,求帮助
  • ¥15 uniapp uview http 如何实现统一的请求异常信息提示?
  • ¥15 有了解d3和topogram.js库的吗?有偿请教
  • ¥100 任意维数的K均值聚类
  • ¥15 stamps做sbas-insar,时序沉降图怎么画
  • ¥15 买了个传感器,根据商家发的代码和步骤使用但是代码报错了不会改,有没有人可以看看
  • ¥15 关于#Java#的问题,如何解决?