2 zoudick97 zoudick97 于 2016.03.06 09:42 提问

scrapy 报错:Missing scheme in request url: h

用Python的scrapy写了一个从网页下图片的爬虫,报错:Missing scheme in request url: h
去百度了也google了都说是相对地址不完整要搞成绝对地址,我用urljoin试了没用,直接用完整的图片地址也没有用。
求大神帮助。
[code=python]import scrapy
from imageSpider.items import ImagespiderItem

class image_Spider(scrapy.Spider):
name="imgSpider"
allowed_domains=["image.baidu.com"]
start_urls=["http://image.baidu.com/"]

def parse(self,response):
    oriList=response.xpath('//div[@class="img_pic_wrap_layer"]/img/@src').extract()
    for each in oriList:
        each=response.urljoin(each)
        item=ImagespiderItem()
        item['image_urls']=each
        yield item[/code]

[code=python]# -*- coding: utf-8 -*-

Define here the models for your scraped items

#

See documentation in:

http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class ImagespiderItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
image_urls=scrapy.Field()
images=scrapy.Field()
[/code]

1个回答

caozhy
caozhy   Ds   Rxr 2016.03.07 05:27
已采纳
zoudick97
zoudick97 解决了,image_urls应该是一个列表,不是一个字符串。 谢谢你。
接近 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!