zoudick97 2016-03-06 01:42 采纳率: 100%
浏览 6591
已采纳

scrapy 报错:Missing scheme in request url: h

用Python的scrapy写了一个从网页下图片的爬虫,报错:Missing scheme in request url: h
去百度了也google了都说是相对地址不完整要搞成绝对地址,我用urljoin试了没用,直接用完整的图片地址也没有用。
求大神帮助。
[code=python]import scrapy
from imageSpider.items import ImagespiderItem

class image_Spider(scrapy.Spider):
name="imgSpider"
allowed_domains=["image.baidu.com"]
start_urls=["http://image.baidu.com/"]

def parse(self,response):
    oriList=response.xpath('//div[@class="img_pic_wrap_layer"]/img/@src').extract()
    for each in oriList:
        each=response.urljoin(each)
        item=ImagespiderItem()
        item['image_urls']=each
        yield item[/code]

[code=python]# -*- coding: utf-8 -*-

Define here the models for your scraped items

#

See documentation in:

http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class ImagespiderItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
image_urls=scrapy.Field()
images=scrapy.Field()
[/code]

  • 写回答

1条回答 默认 最新

  • threenewbee 2016-03-06 21:27
    关注
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言,请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 自己瞎改改,结果现在又运行不了了
  • ¥15 链式存储应该如何解决
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站