scrapy中把数据存储到MongoDB,运行爬虫也没出错,在命令提示符中怎么查找不到数据库呢???
(1)在settings.py中定义了MongoDB_URL = 'mongodb://127.0.0.1:27017'
(2)在pipeline中写入代码
#def open_spider(self, spider):
"""
当爬虫启动时执行,只执行一次,所以在分类爬虫启动时执行,要判断是否是分类爬虫
:param spider:
:return:
"""
if isinstance(spider, CategorySpiderSpider):
self.client = MongoClient(MongoDB_URL)
self.collection = self.client['jd']['category'] #创建数据库及数据表
def process_item(self, item, spider):
"""
向MongoDB插入数据
:param item:
:param spider:
:return:
"""
if isinstance(spider, CategorySpiderSpider):
#插入数据 insert_one() 方法,该方法的第一参数是字典 name => value 对,item中是category对象,需要转换为字典
self.collection.insert_one(dict(item))
return item
def close_spider(self, spider):
"""
关闭数据库连接
:param spider:
:return:
"""
if isinstance(spider, CategorySpiderSpider):
self.client.close()
(3)最后打开这个管道