scrapy中怎样递归的处理新增的url

Question

def parse(self, response):#response为抓取返回的网页内容
item = Mypro1Item()
item['urlname'] = response.xpath("/html/head/title/text()")

    urls = re.compile(r'[a-zA-Z]+://[^\s]*[.com|.cn]').findall(response)
    for url in urls:
        yield Request(url,callback=self.parse)
    print(item['urlname'])


        为什么实现不了递归处理。

Answer 1

不知道你这个问题是否已经解决, 如果还没有解决的话:

• 请看👉 ：scrapy框架，腾讯新闻爬取

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^