PZWJAY 2017-04-04 09:33 采纳率: 25%
浏览 7727

scrapy request发生重定向问题

from scrapy.spider import CrawlSpider
from scrapy.selector import Selector
from scrapy.http import Request

class Spider(CrawlSpider):
name = 'wordSpider'
NUM = 14220485
start_urls = [
"http://baike.baidu.com/view/1.htm"
]
fi = open('e:/word.txt', 'w')
cnt = 2

def parse(self,response):
    selector = Selector(response)
    word = selector.xpath('body/div[@class="body-wrapper"]/div[@class="content-wrapper"]/div[@class="content"]/div[@class="main-content"]/dl/dd/h1/text()').extract_first()
    #word = selector.xpath('body/div[@id="J-lemma"]/div[@class="body-wrapper"]/div[@class="card-part"]/span[@class="lemma-title"]/text()').extract()
    self.fi.write(word + '\t' + 'n')
    if self.cnt <= self.NUM:
        wurl = "http://baike.baidu.com/view/%s.htm" % self.cnt
        self.cnt += 1
        yield Request(url=wurl, meta={}, callback=self.parse)

这是我的爬虫源码,如何阻止301/302重定向,要抓取的是百度所有词条,但是总会发生重定向导致无法获得想要的网页

  • 写回答

1条回答

  • oyljerry 2017-04-04 09:35
    关注

    对于重定向。判断返回值。然后再请求真实地址

    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题