u011038411
木目-
采纳率0%
2016-02-13 13:02 阅读 3.6k

java爬虫中如何判断两个URL是否属于同一网站

如何判断两个URL是否属于同一网站,爬虫中要剔除站外链接,应该要怎么做,两个url主域名不一样但属于同一网站,应该通过什么进行判断

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

2条回答 默认 最新

  • caozhy 从今以后生命中的每一秒都属于我爱的人 2016-02-13 13:54
     String url = "http://ask.csdn.net/questions/237143";
    Pattern p = Pattern.compile("(?<=http://|\\.)[^.]*?\\.(com|cn|net|org|biz|info|cc|tv)",Pattern.CASE_INSENSITIVE);
    Matcher matcher = p.matcher(url);
    matcher.find();
    System.out.println(matcher.group()); // csdn.net
    
    点赞 1 评论 复制链接分享
  • qq_23660243 爱国者002 2016-02-15 09:43

    我就说个建议:正则解析进入主域名 获取网站真实IP 对比两个IP是否相同 关于获取ip我记得有那么个方法 但是忘了具体的实现了 你可以查查

    点赞 评论 复制链接分享

相关推荐