俊熙君 2022-08-22 11:35 采纳率: 85.7%
浏览 62
已结题

Python爬虫,爬虫访问网站时遇到415. UnsupportedMediaType错误,运行结果为空

问题遇到的现象和发生背景

初学python爬虫,练习爬取1~200页文章,不知道是不是因为页面的url找错了,运行结果啥也没有。

问题相关代码,请勿粘贴截图

#导入必要模块
import requests
from bs4 import BeautifulSoup
import re

#创建idx 1~200页
for idx in range(200):
print("#"*30,idx+1)

#网站url
url = " https://www.cnblogs.com/AggSite/AggSitePostList"

#通过分析网站源码可知每页的url信息
data = {"CategoryType":"SiteHome",
        "ParentCategoryId":0,
        "CategoryId":808,
        "PageIndex":idx+1,
        "TotalPostCount":4000,
        "ItemListActionName":"AggSitePostList"}

#requests模块获取网页信息
r = requests.get(url,data=data)

#判断网页状态码
# if r.status_code != 200:
#     raise Exception()

#bs4模块创建对象
soup = BeautifulSoup(r.text,"html.parser")

#指定class获取指定信息
post_items = soup.find_all("article",class_="post-item")
for post_item in post_items:
    link = post_item.find("a",class_="post-item-title")
    print(link["href"],link.get_text())
运行结果及报错内容

img

我的解答思路和尝试过的方法

打印了r.text发现无法访问https://www.cnblogs.com/AggSite/AggSitePostList,访问结果时415. UnsupportedMediaType
不知道怎么找到正确的url

我想要达到的结果

爬出1-200页的文章

  • 写回答

3条回答 默认 最新

  • honestman_ 2022-08-22 11:57
    关注

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 8月30日
  • 已采纳回答 8月22日
  • 修改了问题 8月22日
  • 创建了问题 8月22日

悬赏问题

  • ¥15 Centos7 / PETGEM
  • ¥15 csmar数据进行spss描述性统计分析
  • ¥15 各位请问平行检验趋势图这样要怎么调整?说标准差差异太大了
  • ¥15 delphi webbrowser组件网页下拉菜单自动选择问题
  • ¥15 wpf界面一直接收PLC给过来的信号,导致UI界面操作起来会卡顿
  • ¥15 init i2c:2 freq:100000[MAIXPY]: find ov2640[MAIXPY]: find ov sensor是main文件哪里有问题吗
  • ¥15 运动想象脑电信号数据集.vhdr
  • ¥15 三因素重复测量数据R语句编写,不存在交互作用
  • ¥15 微信会员卡等级和折扣规则
  • ¥15 微信公众平台自制会员卡可以通过收款码收款码收款进行自动积分吗