俊熙君 2022-08-22 11:35 采纳率: 85.7%
浏览 62
已结题

Python爬虫,爬虫访问网站时遇到415. UnsupportedMediaType错误,运行结果为空

问题遇到的现象和发生背景

初学python爬虫,练习爬取1~200页文章,不知道是不是因为页面的url找错了,运行结果啥也没有。

问题相关代码,请勿粘贴截图

#导入必要模块
import requests
from bs4 import BeautifulSoup
import re

#创建idx 1~200页
for idx in range(200):
print("#"*30,idx+1)

#网站url
url = " https://www.cnblogs.com/AggSite/AggSitePostList"

#通过分析网站源码可知每页的url信息
data = {"CategoryType":"SiteHome",
        "ParentCategoryId":0,
        "CategoryId":808,
        "PageIndex":idx+1,
        "TotalPostCount":4000,
        "ItemListActionName":"AggSitePostList"}

#requests模块获取网页信息
r = requests.get(url,data=data)

#判断网页状态码
# if r.status_code != 200:
#     raise Exception()

#bs4模块创建对象
soup = BeautifulSoup(r.text,"html.parser")

#指定class获取指定信息
post_items = soup.find_all("article",class_="post-item")
for post_item in post_items:
    link = post_item.find("a",class_="post-item-title")
    print(link["href"],link.get_text())
运行结果及报错内容

img

我的解答思路和尝试过的方法

打印了r.text发现无法访问https://www.cnblogs.com/AggSite/AggSitePostList,访问结果时415. UnsupportedMediaType
不知道怎么找到正确的url

我想要达到的结果

爬出1-200页的文章

  • 写回答

3条回答 默认 最新

  • honestman_ 2022-08-22 11:57
    关注

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 8月30日
  • 已采纳回答 8月22日
  • 修改了问题 8月22日
  • 创建了问题 8月22日

悬赏问题

  • ¥15 Stata链式中介效应代码修改
  • ¥15 latex投稿显示click download
  • ¥15 请问读取环境变量文件失败是什么原因?
  • ¥15 在若依框架下实现人脸识别
  • ¥15 添加组件无法加载页面,某块加载卡住
  • ¥15 网络科学导论,网络控制
  • ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错