【求助】用Python写出一个遍历网站所有url的小工具

用Python 怎么写出一个 遍历网站所有url的小工具， 包括首页的url和所有子网页url
不能有重复的url，我自己写的只能遍历一个网页的 首页，子网页的遍历不出来，新人 没币 ，求好心人帮助！！！