广坤啊 2021-11-18 23:03 采纳率: 100%
浏览 59
已结题

怎么把爬取的数据保存到MongoDB中

img

img

img

  • 写回答

2条回答 默认 最新

  • CSDN专家-黄老师 2021-11-18 23:21
    关注

    tree =etree.HTML(data)这代码错了，你data=response.json()返回的是json数据，，，如果你确定网页是html代码，应该是data=response.text

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • python爬虫数据保存到mongoDB的实例方法
    2020-12-17 09:52
    ### Python爬虫数据保存到MongoDB的实例方法详解 在当今大数据时代，网络爬虫作为获取互联网信息的重要手段之一，其重要性不言而喻。爬取数据后，如何高效地存储这些数据变得尤为重要。MongoDB作为一种非关系型...
  • Python爬虫全流程实战：高效爬取数据并存储到MongoDB数据库
    2025-05-25 22:09
    Python爬虫项目的博客 数据库（Database）：逻辑上的数据容器集合（Collection）：类似关系数据库的表，存储文档的容器文档（Document）：MongoDB存储的基本单位，JSON格式的...能确保爬取数据符合预期结构，防止因脏数据导致数据库异常。
  • 【爬虫学习三】 Python将爬取的数据存储到MongoDB中
    2020-10-02 21:10
    黑桃️的博客 本内容衔接 ： 爬虫学习二 一： 下载并安装 MongoDB 下载链接：http://dl.mongodb.org/dl/win32/x86_64 照着这篇博客配置完就行：配置...三： 将数据存入MongoDB中 import requests import time import pymongo c
  • Python爬取数据并存入MongoDB
    2020-04-17 00:29
    Ling2099的博客 Python爬取数据并存入MongoDB 最近和朋友一起开发APP，需要大量数据，而"互联网"与"共享"融合发展的理念，遂资源的可重用给予了当代骚客文人获得感与幸福感…好了，不日白了（正宗重庆话，吹牛的意思），开始正题 ...
  • Python爬虫数据保存到MongoDB中
    2021-01-12 15:39
    酸菜鱼编程的博客 MongoDB是一款由C++语言编写的非...此处主要用于Python数据的保存，我们要安装Python的PyMongo库，运行 ‘pip install pymongo’ 命令完成pymongo的安装。进入python工作模式，可以通过pymongo.version 查看pymongo的版
  • Python使用mongodb保存爬取豆瓣电影的数据过程解析
    2020-12-31 03:46
    设置items.py文件，存储要保存的数据类型和字段名称 # -*- coding: utf-8 -*- import scrapy class DoubanItem(scrapy.Item): title = scrapy.Field() # 内容 content = scrapy.Field() # 评分 rating_num = ...
  • MongoDB的安装&爬取数据保存到MongoDB
    2020-06-02 19:49
    数据涵的博客 MongoDB:非关系型数据库，给予Key-Value形式保存数据，与Python的字典格式类似。它能够轻松应对爬虫字段的变化等情况，也可以轻松的横向扩展、分片和集群，非常适合存储大规模爬虫数据。 一.MongoDB的安装 1.下载...
  • 使用 Python 爬虫抓取数据并存储到 MongoDB
    2025-04-06 20:29
    Python爬虫项目的博客 MongoDB 是一个开源的 NoSQL 数据库，它以 JSON 类似的 BSON（Binary JSON）格式存储数据，适用于需要高...在本文中，我们展示了如何使用 Python 爬虫技术抓取数据，并使用pymongo库将数据存储到 MongoDB 数据库中。
  • python爬取网页并保存在mongodb中
    2019-11-26 00:05
    weixin_43576422的博客 python爬取网页并保存在mongodb中MongoDB简介基本概念（1）文档（2）集合（3）数据库 MongoDB简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 ...
  • Python------python爬虫数据导入MongoDB数据库
    2021-09-17 14:22
    绝世唐门三哥的博客 Python下载: 链接：https://pan.baidu.com/s/19QWYN91vzJPhaxVEEgx64A 提取码：nbls 64位系统的安装这个!!! MongoDB下载: 链接：https://pan.baidu.com/s/1N1TrhoRDgqTmgQlrY6CUXg 提取码：5210 1. 在根目录...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 11月26日
  • 已采纳回答 11月18日
  • 修改了问题 11月18日
  • 创建了问题 11月18日