关于 http的ETag和last-modified的问题啊

最近在学习爬虫的相关知识啊，但是遇到了个问题，

比如我想爬取一个网站，

我先把这个网站的信息爬取下来

然后记录下来

等下次我再来爬取的时候，我先对比一下这个网页的ETag和last-modified的值如果没改变的话我就不用爬取了啊

但是我发下很多网站都没有ETag和last-modified属性

这怎么办啊。。。。。。。。。。。。。。

另外求大声能详细的讲解一下ETag和last-modified属性的意义啊

还有啊，为什么我自己弄的在tomcate上面的工程爬取下来也是没有这两个属性的啊。。。。。。。

谢谢了啊。。。。。。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

3条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
maowei009 2011-03-04 17:25
关注
ETag是一个可以与Web资源关联的记号，通过它可利用客户端的缓存，一般把ETags和GET请求的“If-None-Match”头一起使用。服务器首先产生ETag，客户端则将他与页面一起缓存起来，服务器可在后面使用它来判断页面是否是同一个样的页面！像楼上说的一样，他是通过MD5来处理的，具体百度下吧～～其实你可以得到页面的大小来判断是否是同一个页面，但是不保险，偷懒的代价！

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(2条)

报告相同问题？

关注问题

关于 http的ETag和last-modified的问题啊
2011-03-04 15:16

回答 3 已采纳 ETag是一个可以与Web资源关联的记号，通过它可利用客户端的缓存，一般把ETags和GET请求的“If-None-Match”头一起使用。服务器首先产生ETag，客户端则将他与页面一起缓存起来，服务
ETag标头不返回304 http php
2016-11-08 14:20

回答 3 已采纳 ETag requires the server to send a 304 response back in order to trigger loading from the Cache.
304 Not Modified问题 php
2010-03-16 03:14

回答 3 已采纳 Finally solved this bug. Gzip was the culprit. Since I was gzipping the responses to If-Modified-S
Http 1.1 Etag 与 Last-Modified提高php效率
2021-01-20 00:14

在 MagpieRSS 的 Features　中列举了这样的一条： HTTP Conditional GETs Save bandwidth and speed up download times with intelligent use of Last-Modified and ETag.. 这里的 Etag 引起了我的注意．什么是 ...
使用哪一个：Expire Header，Last Modified Header或ETags php
2011-03-16 06:43

回答 2 已采纳 You can use the Expires header in conjunction but regardless of the other two. It's universally su
SpringBoot实现文件下载使用ResponseEntity<FileSystemResource>报错 http java spring boot
2021-12-31 10:12

回答 1 已采纳直接用ResponseEntity<byte[]>
PHP HTTP 1.1无法执行部分PUT请求 http php
2013-08-13 15:22

回答 1 已采纳 Well, I finally found an appropriate solution. As Marc B responded, it's impossible to perform par
HTTP缓存头Last-Modified和ETag介绍
2020-09-30 13:44

主要介绍了HTTP缓存头Last-Modified和ETag介绍,需要的朋友可以参考下
Go中的AppEngine不会从urlfetch.Head返回Content-Length http
2014-10-09 20:47

回答 1 已采纳 For reasons beyond my understanding, App Engine does not include the content length in the respons
Laravel / Vagrant和Gulp：CSS和JavaScript文件似乎在某处缓存 gulp laravel nginx php vagrant
2018-09-27 19:23

回答 1 已采纳 The solution has been found! Find the spot in your assorted nginx config files that says sendfile
了解浏览器缓存机制吗？后端缓存
2021-10-08 17:43

回答 1 已采纳你的问题是？
关于HTTP缓存验证Last-Modified和Etag的使用
2022-02-15 20:56

Wang's Blog的博客关于资源验证如果给Cache-Control设置no-cache之后，每次浏览器发起对设置了Cache-Control的资源请求的时候都要去到服务器端进行一个资源的验证, 验证如果资源可以使用，那么才会读取本地的缓存缓存验证流程 1...
PHP文件服务脚本：不可靠的下载？ php
2010-04-11 13:43

回答 3 已采纳 It's your GZIP compression. When you specify a content length but turn compression on, it gums eve
http协商缓存Etag和Last-Modified区别及优缺点
2022-04-28 15:36

影风莫的博客 http协商缓存Etag和Last-Modified区别及优缺点
ETag 和 Last-modified
2018-01-02 15:48

guodengh的博客 ETag 是 Entity Tag 的缩写，中文译过来就是实体标签的意思。在HTTP1.1协议中其实就是请求HEAD中的一个属性而已。ETag是HTTP1.1中才加入的一个属性，用来帮助服务器控制Web端的缓存验证。它的原理是这样的，当浏览器...
为什么Etag比last-modified优先级更高？
2020-09-09 07:01

这个东西不好和你解释，因为我是菜狗的博客 1、如何设置浏览器缓存 Expires（实体首部字段）：服务端返回的到期时间，分为“相对...no-cache：需要用另一种缓存策略来验证缓存(ETag,Last-Modified) no-store：不进行缓存 **Last-Modified（**实体首部字段）:
Last-Modified和Etag
2020-10-07 14:57

mr.啄木鸟的博客浏览器缓存分为强缓存和协商缓存，而协商缓存就是靠Last-Modified和Etag 来控制的 Last-Modified 浏览器第一次请求资源的...服务器收到这个请求后，将If-Modified-Since和当前的Last-Modified进行对比。如果相等...
etag php,Http 1.1 Etag 与 Last-Modified提高php效率
2021-04-08 08:46

陈晓卿的博客在 Blog 盛行的今天,一些 Web 应用需要解析...在 MagpieRSS 的 Features　中列举了这样的一条： HTTP Conditional GETs Save bandwidth and speed up download times with intelligent use of Last-Modified and ETa...
Expires、Cache-Control、Last-Modified和If-Modified—Since、Etag和If-None-Match
2021-12-31 17:28

en_kai的博客 Expires、Cache-Control、Last-Modified和If-Modified—Since、Etag和If-None-Match
http协议（三）缓存头Cache-Control和缓存验证ETag、Last-Modified
2022-03-22 15:03

慌张的唐同学的博客 Cache-Control 通用消息头字段，被用于在http请求和响应中，通过指定指令来实现缓存机制。缓存指令是单向的，这意味着在请求中设置的指令，不一定被包含在响应中。 Cache-Control指令包含了多个指令，分别具有不同的...
没有解决我的问题, 去提问

悬赏问题

¥15 如何实验stm32主通道和互补通道独立输出
¥30 这是哪个作者做的宝宝起名网站
¥60 版本过低apk如何修改可以兼容新的安卓系统
¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
¥50 有数据，怎么建立模型求影响全要素生产率的因素
¥50 有数据，怎么用matlab求全要素生产率
¥15 TI的insta-spin例程
¥15 完成下列问题完成下列问题
¥15 C#算法问题, 不知道怎么处理这个数据的转换
¥15 YoloV5 第三方库的版本对照问题

关于 http的ETag和last-modified的问题啊

3条回答 默认 最新

悬赏问题

3条回答默认最新