波波擦啵啵 2020-01-28 18:05 采纳率: 0%
浏览 419

scrapy代码我这段是有错误吗?无法转成csv,创建的文档只有0k

-*- coding: utf-8 -*-

import scrapy

from mySpider.items import MyspiderItem

class MyspiderSpider(scrapy.Spider):
name = 'myspider'
allowed_domains = ['itcast.cn']
start_urls = ['http://www.itcast.cn/channel/teacher.shtml#ajavaee']

def parse(self, response):
    teacher_list = response.xpath('//div[@class="li_txt"]')
    teacherItem = []
    for each in teacher_list:
        item = MyspiderItem()
        name = each.xpath('./h3/text()').extract()
        title = each.xpath('./h4/text()').extract()
        info = each.xpath('./p/text()').extract()

        item['name'] = name[0].encode("gbk")
        item['title'] = title[0].encode("gbk")
        item['info'] = info[0].encode("gbk")

        teacherItem.append(item)

        # print(name[0])
        # print(title[0])
        # print(info[0])
    # pass
    return teacherItem

然后又用scrapy crawl spider -o spider.csv

  • 写回答

1条回答 默认 最新

  • dabocaiqq 2020-01-28 22:10
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作