如何通过python获取到网站的所有url???

如何通过python获取到网站的所有url???

想把自己网站的所有url抓取下来,方便生成sitemap时用,如何通过python获取到网站的所有url???求指导

3个回答

csdn过滤了我的代码,如:

 <a href="http://www.qq.com">

可以用

 r'<a href="(.*?)">'

匹配

可以用scrapy等框架,它就是一个爬虫框架,你直接在对应的回调函数中处理获取到各个URL

正则表达式,如:可以用r''匹配

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问