scrapy中把数据存储到MongoDB，运行爬虫也没出错，在命令提示符中怎么查找不到数据库呢？？？
（1）在settings.py中定义了MongoDB_URL = 'mongodb://127.0.0.1:27017'
（2）在pipeline中写入代码
#def open_spider(self, spider):
"""
当爬虫启动时执行，只执行一次，所以在分类爬虫启动时执行，要判断是否是分类爬虫
:param spider:
:return:
"""
if isinstance(spider, CategorySpiderSpider):

        self.client = MongoClient(MongoDB_URL)
        self.collection = self.client['jd']['category']    #创建数据库及数据表



def process_item(self, item, spider):
    """
    向MongoDB插入数据
    :param item:
    :param spider:
    :return:
    """
    if isinstance(spider, CategorySpiderSpider):
        #插入数据 insert_one() 方法，该方法的第一参数是字典 name => value 对，item中是category对象，需要转换为字典
        self.collection.insert_one(dict(item))
        return item


def close_spider(self, spider):
    """
    关闭数据库连接
    :param spider:
    :return:
    """
    if isinstance(spider, CategorySpiderSpider):
        self.client.close()

（3）最后打开这个管道

python scrapy ip代理访问http网址出错但是https的就可以

177资源网

0个回复