wugx_xz
2016-07-17 13:58
采纳率: 33.3%
浏览 2.5k
已采纳

如何通过python获取到网站的所有url???

如何通过python获取到网站的所有url???

想把自己网站的所有url抓取下来,方便生成sitemap时用,如何通过python获取到网站的所有url???求指导

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • pysrc 2016-07-17 14:08
    已采纳

    csdn过滤了我的代码,如:

     <a href="http://www.qq.com">
    

    可以用

     r'<a href="(.*?)">'
    

    匹配

    点赞 打赏 评论
  • pysrc 2016-07-17 14:05

    正则表达式,如:可以用r''匹配

    点赞 打赏 评论
  • oyljerry 2016-07-18 02:18

    可以用scrapy等框架,它就是一个爬虫框架,你直接在对应的回调函数中处理获取到各个URL

    点赞 打赏 评论

相关推荐 更多相似问题