最近在学习爬虫的相关知识啊,但是遇到了个问题,
比如我想爬取一个网站,
我先把这个网站的信息爬取下来
然后记录下来
等下次我再来爬取的时候,我先对比一下这个网页的ETag和last-modified的值如果没改变的话我就不用爬取了啊
但是我发下很多网站都没有ETag和last-modified属性
这怎么办啊。。。。。。。。。。。。。。
另外求大声能详细的讲解一下ETag和last-modified属性的意义啊
还有啊,为什么我自己弄的在tomcate上面的工程爬取下来也是没有这两个属性的啊。。。。。。。
谢谢了啊。。。。。。