ChibaAkira
2017-07-22 15:49python scrapy 爬取的数据保存不了
5python scrapy 爬取的数据保存不了
上代码
spider代码:
from textsc.items import TextscItem
from scrapy.selector import Selector
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class Baispider(CrawlSpider):
name = "Baidu"
allowed_domains = ["baidu.com"]
start_urls = [
"https://zhidao.baidu.com/list"
]
rules = (
Rule(LinkExtractor(allow=('/shop', ), deny=('fr', )), callback='parse_item'),
)
def parse_item(self, response):
sel= Selector(response)
items=[]
item=TextscItem()
title=sel.xpath('//div[@class="shop-menu"]/ul/li/a/text()').extract()
for i in title:
items.append(i)
item['TitleName'] = items
print (item['TitleName'])
return item
items.py代码
import scrapy
import json
class TextscItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
TitleName = scrapy.Field()
pass
scrapy的版本是1.4.0
运行没有报错
但是json文件里面什么都没有
求解答
谢过!..
- 点赞
- 回答
- 收藏
- 复制链接分享
2条回答
为你推荐
- scrapy存到mysql查询无数据
- 测试用例
- python
- 数据挖掘
- mysql
- 1个回答
- 爬取内容中文乱码(这种“ú̿£ºËļ¾¶È¡°Ãº¡±·êÈý¡°½Ù¡±”)是怎么回事??
- python
- mongodb
- 数据挖掘
- 自然语言处理
- 3个回答
- php 怎么利用editthiscookie得到的cookie跳过淘宝登陆并且抓取个人信息
- cookie
- 爬虫
- php
- 淘宝网
- 2个回答
- 如何利用scrapy爬取带标签的网页内容并保存到自己的服务器上?
- scrapy 爬虫
- ftp服务器
- python
- mysql
- sql
- 3个回答