zhouyq_2019 2022-05-14 10:35
浏览 11
已结题

关于mongo查询相关并发查询问题咨询

需求

计算700个字段的分布结果,每个字段数据量百万起步 ,根据字段从mongon中提取数据 做数据集分布计算

存在的问题,
-- mongodb查询耗时较多,(经测试,10个字段和一个字段的查询其实耗时差距不大,主要是数据返回导致内存oom)
-- 字段多希望采用多线程并行执行数据集分布计算 (服务器8核 理论可以8个线程同时执行)
-- 并发线程过多导致查询mongo并发多,会出现超时情况(mongo游标超时,默认10分钟)
-- 多线程并行请求mongdb 字段超过30个时 内存oom (可能由于在计算过程中的数据集复制,导致数据膨胀)
-- 之前for循环处理每次查询10个字段再计算 测试结果 整体耗时1800s 计算耗时100s内,mongo查询耗时大

目前方案

线程池 5核心线程
mongo查询5个字段
测试耗时800s

解决的重点

-- mongo并发查询请求问题,是否可以直接返回不采用游标方式?增加并发量
-- 计算时对内存的管理,检查计算时内存的处理是否存在可优化的地方

请留下您的提议

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 5月22日
    • 创建了问题 5月14日

    悬赏问题

    • ¥15 安装python过程失败怎么解决?
    • ¥15 模电中二极管,三极管和电容的应用
    • ¥15 关于模型导入UNITY的.FBX: Check external application preferences.警告。
    • ¥15 气象网格数据与卫星轨道数据如何匹配
    • ¥100 java ee ssm项目 悬赏,感兴趣直接联系我
    • ¥15 微软账户问题不小心注销了好像
    • ¥15 x264库中预测模式字IPM、运动向量差MVD、量化后的DCT系数的位置
    • ¥15 curl 命令调用正常,程序调用报 java.net.ConnectException: connection refused
    • ¥20 关于web前端如何播放二次加密m3u8视频的问题
    • ¥15 使用百度地图api 位置函数报错?