我目前需要爬取某个网页的一些指标,其中有一个是判断网页中是否有robots.txt文件,这个指标我的判断的方法是访问’www.baidu.com/robots.txt‘,根据其response.code判断,但是我想把这个指标和其他指标放到一个item里,请问应该怎么做。
我本想用yield scrapy.request(‘www.baidu.com/robots.txt’)来操作,但是获取不到其返回值,而且yield和return不能同时存在,望各位大佬解答一下,万分感激。
鄙人QQ642026725,欢迎各位大佬指导,萌新不胜感激