波波擦啵啵 2020-01-28 18:05 采纳率: 0%
浏览 419

scrapy代码我这段是有错误吗?无法转成csv,创建的文档只有0k

-*- coding: utf-8 -*-

import scrapy

from mySpider.items import MyspiderItem

class MyspiderSpider(scrapy.Spider):
name = 'myspider'
allowed_domains = ['itcast.cn']
start_urls = ['http://www.itcast.cn/channel/teacher.shtml#ajavaee']

def parse(self, response):
    teacher_list = response.xpath('//div[@class="li_txt"]')
    teacherItem = []
    for each in teacher_list:
        item = MyspiderItem()
        name = each.xpath('./h3/text()').extract()
        title = each.xpath('./h4/text()').extract()
        info = each.xpath('./p/text()').extract()

        item['name'] = name[0].encode("gbk")
        item['title'] = title[0].encode("gbk")
        item['info'] = info[0].encode("gbk")

        teacherItem.append(item)

        # print(name[0])
        # print(title[0])
        # print(info[0])
    # pass
    return teacherItem

然后又用scrapy crawl spider -o spider.csv

  • 写回答

1条回答 默认 最新

  • dabocaiqq 2020-01-28 22:10
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 想问一下stata17中这段代码哪里有问题呀
  • ¥15 flink cdc无法实时同步mysql数据
  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决