m0_73618418 2022-11-22 23:06 采纳率: 25%
浏览 17
已结题

python爬虫动态网页爬取 报错

import requests
import json
url = 'https://www.ptpress.com.cn/newsInfo/getCurrentAffairsForPortal'
return_data = requests.get(url).text
data = json.loads(return_data)
news = data['data']
for n in news:
    picPath=n['picPath']
    mainTitle= n['mainTitle']
    newsContent = n['newsContent']
    print("来源:",newsContent,'\n',"标题:",mainTitle,'\n',"图片:",picPath)
    print('\n')

img

img

import requests
import json
url = 'http://www.ptpress.com.cn/bookinfo/getBookListForWS'
return_data = requests.get(url).text    # 在需要爬取的URL网页进行HTTP请求
data = json.loads(return_data)        # 对HTTP响应的数据JSON化
news = data['data']                 # 索引到需要爬取的内容信息
for n in news:                     # 对索引出来的JSON数据进行遍历和提取
    newsContent = n['newsContent']
    mainTitle = n['mainTitle']
    price = n['price']
    print("新书名:",bookName,'\n',"作者:",author,'\n',"价格:",price)
    print('\n')

img

请问为什么最下面的可以爬出出来,而上面的爬取不出来 报错了
请问怎样修改上面的代码才可以爬取出来呢?
谢谢

  • 写回答

2条回答 默认 最新

  • aabond 2022-11-23 10:12
    关注

    news 数据获取错误

    import requests
    import json
    url = 'https://www.ptpress.com.cn/newsInfo/getCurrentAffairsForPortal'
    return_data = requests.get(url).text
    data = json.loads(return_data)
    news = data['data']['news4']
    for n in news:
        picPath=n['picPath']
        mainTitle= n['mainTitle']
        newsContent = n['newsContent']
        print("来源:",newsContent,'\n',"标题:",mainTitle,'\n',"图片:",picPath)
        print('\n')
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 12月1日
  • 已采纳回答 11月23日
  • 修改了问题 11月23日
  • 创建了问题 11月22日

悬赏问题

  • ¥15 网络科学导论,网络控制
  • ¥100 安卓tv程序连接SQLSERVER2008问题
  • ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd