关于用程序自动检测某个视频网站更新问题？

Question

项目组正在准备做关于视频下载，视频转换成文字，最后做文字检索的系统，现在客户有这样需求，要求用程序自动检测某一网站最新的发布的视频，只下载最新某一时间段视频，本人对此一点思路都没有，大牛们做过类似功能的，告诉小弟下大约的思路？（就怎么用程序自动检测某一网站更新视频）

Answer 1

当然不能简单的根据URL或视频种类或视频名字，你要综合考虑一下，找到能代表该视频的特征来判断比较准确。
拿来的来说，我抓取网页的时候，判断它是否爬取过，我首先判断内容和标题是否大概一样，在判断是否属于同一个网站，最后才判断URL是否一样。