liuyawen44 2016-10-02 12:55 采纳率: 37.5%
浏览 899

mongodb 怎么构建优先级爬虫

如题，网站URL我想设置优先级，从队列中获取URL时，想优先取出优先级高的URL队列，但是
不知道Mongdb如何优先取出，因为它的插入顺序好像是按时间排序的，难道每次取出的时候都要做一下排序吗？这样应该会影响性能吧。求各位大神解答！！小弟感激不尽！

  • 写回答

2条回答 默认 最新

  • Royal_lr 2016-10-03 03:32
    关注

    小数据量的话，排序性能忽略不计，，或者你可以增加一个字段属性设置优先级

    评论

报告相同问题？

  • MongoDB中的数据导出 mongodb
    2022-08-05 21:31
    回答 2 已采纳 已解决，根本不是用户权限问题，换用mac或者linux操作系统，相同命令。如果没其它操作系统去官网下载MongDB Compass，GUI工具。
  • pymongo连接mongoDB报错 mongodb python
    2023-03-15 14:40
    回答 2 已采纳 超时了，检查服务器是否开了，地址是否正确呢
  • docker中安装mongodb docker linux mongodb
    2023-03-15 20:58
    回答 2 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵ,具体如下： 在Linux系统的Docker中离线安装MongoDB可以按照以下步骤进行操作： 1、首先，下载MongoDB的二进制文件。你可以从MongoDB官网上下载
  • Python爬虫——MongoDB入门到精通（二）
    2022-06-09 14:29
    猩猩文学的博客 Python爬虫——MongoDB入门到精通（二） 文章目录 Python爬虫——MongoDB入门到精通（二） MongoDB使用详情 一、MongoDB的基本使用 二、MongoDB创建集合 总结 _id的组成 三、插入数据 四、保存数据 五、查询数据 ...
  • MongoDB.Driver使用 mongodb 后端
    2023-02-22 12:00
    回答 1 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵ是的，MongoDB.Driver可以读取指定的字段。在C#中，可以使用Projection类来指定要查询的字段。以下是一个简单的示例，说明如何使用Projection：
  • 连接mongodb数据库失败 mongodb 数据库
    2022-08-20 22:17
    回答 2 已采纳 MongoDB 3.6+，检查一下你的MongoDB的版本，要求3.6以上
  • mongodb 怎么升级？ mongodb 有问必答
    2022-08-19 19:03
    回答 2 已采纳 Mongodb版本升级 - stayed - 博客园 MongoDB版本控制 1、稳定版本 MongoDB的版本的形式X.Y.Z在那里X.
  • PySipder爬虫程序-其他
    2021-06-12 08:59
    PySipder是一个Python爬虫程序。 PySipder特点： 使用Python编写脚本，提供强大的API Python 2&3 强大的WebUI和脚本编辑器、任务监控和项目管理和结果查看 支持JavaScript页面 后端系统支持：MySQL, MongoDB, ...
  • mongodb查询语句问题（刚接触mongodb） mongodb
    2022-11-10 09:10
    回答 1 已采纳 你find查询条件写多了一层花括号，按照下述语句查询一下 db.getCollection("carordershands").find({ "created": { '$lt
  • Django+MongoDB mysql改写 django mongodb 有问必答
    2021-05-12 17:57
    回答 3 已采纳 参考一下：https://blog.csdn.net/Coxhuang/article/details/89555660 我这边测试是没问题的
  • mongodb内存泄漏问题 java mongodb spring boot
    2022-06-15 15:59
    回答 1 已采纳 找到泄漏点 使用完后置为null，等待GC
  • PySipder是一个Python爬虫程序.rar
    2023-07-05 17:07
    PySipder 是一个 Python 爬虫程序 使用 Python 编写脚本，提供强大的 API Python 2&3 强大的 WebUI 和脚本编辑器、任务监控和项目管理和结果查看 支持 JavaScript 页面 后端系统支持：MySQL, MongoDB, SQLite, ...
  • SparkSQL整合mongodb出错 mongodb scala spark
    2021-09-08 09:26
    回答 2 已采纳 看看下面这篇文章能否解决你的问题,如果有用请采纳哦~Caused by后面一般写着报错的原因 Caused by: java.lang.NoSuchMethodError: org.ap
  • Python网络爬虫实践：构建实用的爬虫应用
    2023-08-09 10:54
    心梓知识的博客 本文主要介绍如何使用 Python 实现网络爬虫，包括爬虫的基本原理、爬虫框架的选择、爬虫的实现方法以及常用的数据存储方式。Requests 是 Python 语言中通用的 HTTP 请求库，能够发送 HTTP 请求、获取响应结果，并...
  • 13.网络爬虫—多进程详讲(实战演示)
    2023-04-09 12:40
    以山河作礼。的博客 网络爬虫—MongoDB详讲与实战》全站热榜第八，领域热榜第二 《Python网络爬虫》专栏累计发表十二篇文章，上榜四篇。欢迎免费订阅！欢迎大家一起学习，一起成长！！ 悲索之人烈焰加身，堕落者不可饶恕。永恒燃烧的...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥60 求一个简单的网页(标签-安全|关键词-上传)
  • ¥35 lstm时间序列共享单车预测，loss值优化，参数优化算法
  • ¥15 基于卷积神经网络的声纹识别
  • ¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
  • ¥100 为什么这个恒流源电路不能恒流？
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson，入参实体类Person，出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题，上传的坐标文件里是怎么对无序点进行编号的，以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP