我需要对自家公司网站爬取页面的所有链接，在发现爬取范围内的链接中有404、505或超时时则发报警邮件。请问这样怎么处理呢
0条回答 默认 最新
- 2022-10-29 20:24回答 1 已采纳 412本身是 没有满足的先决条件，你得检查 上面那些头信息是否缺少
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2022-10-22 14:15回答 1 已采纳 在浏览器里f12看一下你抓取的那个原图是不是跟你下载下来的一样。如果一样，有没有可能是网站知道你非正常访问，给你转到一个裁剪后的图片地址。
- 2021-11-15 19:16JHC000000的博客 （3）响应后返回的数据信息： 状态行：协议版本+状态码（如常见的404,500,200）+状态码文本描述； 响应头部：用键值对表示； 空行：表示响应头部结束； 响应数据：服务器返回的数据内容和数据头部信息（head请求无...
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2023-03-01 15:21回答 2 已采纳 你访问的这个接口就只有五千多条数据，您可以在返回的数据中看到，你可以把获取到的数据输出下resp.json()：totalCount': 5860, 'totalPages': 59因此，如果要爬取更
- 2022-11-15 16:31回答 6 已采纳 链接发一下
- 2021-10-17 13:35五包辣条！的博客 模拟浏览器，发送请求，获取响应 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是客户端...
- 2022-12-12 01:38回答 2 已采纳 数据有可能是动态加载的，你没有爬到，先打印整个页面内容，搜索一下看有没有你需要的内容，没有的话，那内容就是动态加载的，request肯定爬取不到，那xpath肯定就提取不了呗！1.对于动态加载的数据，
- 2022-10-26 16:35回答 1 已采纳 post和get方法的使用不是你决定的，二十接口使用的是什么请求方式，如果它是get请求那就只能用get请求，是post就只能用post
- 2022-08-30 09:19回答 5 已采纳 因为div里的内容，使用过ajax加载的，所以爬虫获取的网页源码是没有里面的内容的，这种数据相对来说方便一点，直接可以抓包拿到相应的ajax请求，然后直接reqeusts模块发送请求就可以拿到数据了，
- 2021-11-03 19:35王络不稳定的博客 一个HTTP响应报文分为以下4个部分： 响应行：主要包括使用的HTTP协议版本、响应状态码和状态码描述 HTTP/1.1 200 OK\r\n 响应头：紧接着响应行之后的部分，用来说明给客户端返回的一些附加信息 Date: Mon, 14 Sep ...
- 2022-12-24 13:06回答 2 已采纳 #这样可以拿到所有商品 for i in res.find_all('span',{'class':{'text'}}): d=i.text lst.append(d)
- 2022-09-18 19:16AudiA6LV6的博客 用这套框架几乎能绕过大多数的反爬虫，因为它不是在伪装成浏览器来获取数据（上述的通过添加 Headers一定程度上就是为了伪装成浏览器），它本身就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器...
- 2022-05-13 08:02致奋斗的自己的博客 1，初识爬虫 1.1，网络爬虫概述 网络爬虫是一种互联网机器人，它通过爬取互联网上网站的内容来工作。它是用计算机语言编写的程序或脚本，用于自动从Internet上获取任何信息或数据。机器人扫描并抓取每个所需页面上...
- 没有解决我的问题, 去提问
问题事件
系统已结题
6月13日
创建了问题
6月5日
悬赏问题
- ¥50 python批量提取发票的信息
- ¥15 mysql安装，初始化数据库失败
- ¥15 虚幻五引擎内容如何上传至网盘？
- ¥15 使用mmpose库时出现了问题
- ¥15 IRI2016模型matlab运行报错
- ¥50 bat怎么设置电脑后台自动点击网页指定词运行脚本，输入指定网页链接，指定点击词，指定间隔时间，指定网页出现的词，指定网页出现词出现后后点击锁定，放在后台运行不影响前台鼠标工作
- ¥20 20CrMnMo的高温变形抗力
- ¥15 RTX3.6 5565驱动中断报错
- ¥50 带防重放token（Antireplay-Token）的网站怎么用Python发送请求
- ¥15 visa版本没问题，串口调试助手调试串口正常使用，但是labview刷新不出来