关于 http的ETag和last-modified的问题啊

最近在学习爬虫的相关知识啊,但是遇到了个问题,

比如我想爬取一个网站,

我先把这个网站的信息爬取下来

然后记录下来

等下次我再来爬取的时候,我先对比一下这个网页的ETag和last-modified的值如果没改变的话我就不用爬取了啊

但是我发下很多网站都没有ETag和last-modified属性

这怎么办啊。。。。。。。。。。。。。。

另外求大声能详细的讲解一下ETag和last-modified属性的意义啊

还有啊,为什么我自己弄的在tomcate上面的工程爬取下来也是没有这两个属性的啊。。。。。。。

谢谢了啊。。。。。。

0
扫码支付0.1元 ×