刘攀峰 2015-11-13 08:52 采纳率: 0%
浏览 2291

大数据如何优化处理，使查询快速

对于数据库中数据量达到数百亿条的时候，怎么做才能让数据的处理更快速？不会出现宕机，卡机的情况。查询某一数据可以更快速。

  • 写回答

1条回答 默认 最新

  • threenewbee 2015-11-13 15:46
    关注

    合理建立索引，对数据库分库分表，拆分历史库，优化查询存储过程
    应用层做缓存，数据层做分布式并发查询
    一些数据，使用nosql mapresuce等非数据库方案
    客户端多线程，避免界面悬挂

    评论

报告相同问题？

  • 数据科学与大数据技术和数据科学与大数据技术（智能信息处理） 大数据 有问必答
    2022-01-11 20:09
    回答 2 已采纳 学习的基础都是一样的，带括号就代表学习路线更倾向于智能信息处理，数据科学与大数据技术的方向有很多的，那个只是其中一个，出来后你也不一定会走那个路线，主要看自己的选择，就比如说软件工程专业的倾向于Jav
  • 华为认证大数据工程师 大数据
    2022-03-29 22:18
    回答 3 已采纳 如果家里条件允许的话可以考虑一下，华为认证社会认可度还是蛮高的
  • Java建议转大数据吗本科 etl工程师 大数据 数据库开发
    2022-07-02 22:58
    回答 2 已采纳 你所搜的岗位都有，但是每个岗位的工作内容有很大的区别比如大数据开发工程师，这是一个比较宽泛的定义，没有具体到岗位职责，可以是etl工程师，也可以是大数据平台开发，也可以是大数据实时开发，也有大数据运维
  • 分散存储油气生产动态大数据的优化管理与快速查询
    2021-03-14 22:34
    利用大数据分布式存储与并行计算、数据仓库建模等技术构建多维分析引擎数据管理平台，实现了分散存储 油气生产动态大数据的优化管理与快速查询，该系统可集中管理 36×104 余口油、气、水井的生产数据，并实现秒级 ...
  • java后端转大数据怎么样 java 大数据
    2022-06-17 21:25
    回答 1 已采纳 前端和云原生也不错
  • 转行大数据要学什么框架 大数据
    2022-07-09 09:51
    回答 1 已采纳 学flink和hadoop把，我最近也在学，同学加油
  • python大数据整理 python 大数据
    2023-01-30 19:57
    回答 2 已采纳 如果数据是按照天来统计的，可以参考以下步骤： 利用 pandas 读取每天的数据并将其合并到一个大的 DataFrame 里面在 DataFrame 里面根据日期列创建一个新的日期列，用来储存日期的月
  • 大数据审计分析快速定位表及字段方法
    2019-03-22 14:16
    | 7 着大数据时代 的到来 ， 审计工作在处理 、 分析海量数 f 据时面临着新的挑战。大型数据库动辄包含几百上 千张表 ， 审计人员如何在时间和人力有限的情况下 ， 快速 分析数据结构 ， 查找需要 的关键字段 ， ...
  • 大数据、Hadoop hadoop 大数据
    2022-12-19 16:44
    回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
  • 数据仓库 大数据 apachhive hive 大数据 数据仓库
    2023-02-24 15:51
    回答 1 已采纳 是的，Apache Hive的分层就是指把不同维度的数据抽取出来，并根据不同的维度进行分类存放。通过这种方式，可以更好的管理数据，便于后续的查询和分析处理。
  • 大数据，spark ，doris mysql spark 大数据
    2023-01-17 22:05
    回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
  • 【前端素材】大数据-旅游大数据.zip
    2024-04-25 22:38
    Spark：Apache Spark是一个快速、通用的集群计算系统，提供了比MapReduce更快的数据处理能力。它支持内存计算和更多复杂的数据处理流程。 NoSQL数据库：NoSQL数据库（如MongoDB、Cassandra等）则更适用于处理这类...
  • 大数据开发小白，求电脑推荐 大数据 数据库 有问必答
    2021-10-01 20:36
    回答 3 已采纳 开发，买内存大一点的，因为比较耗内存。条件允许可以考虑苹果笔记本。否则可以考虑买联想系列。如果是学生，买价格4000多的就够了，i5处理器，4g或者8g运行内存。如果为了工作中用，买价格6000左右的
  • 【前端素材】大数据-运营大数据.zip
    2024-04-25 22:38
    Spark：Apache Spark是一个快速、通用的集群计算系统，提供了比MapReduce更快的数据处理能力。它支持内存计算和更多复杂的数据处理流程。 NoSQL数据库：NoSQL数据库（如MongoDB、Cassandra等）则更适用于处理这类...
  • 【前端素材】大数据-大数据医疗.zip
    2024-04-25 22:36
    Spark：Apache Spark是一个快速、通用的集群计算系统，提供了比MapReduce更快的数据处理能力。它支持内存计算和更多复杂的数据处理流程。 NoSQL数据库：NoSQL数据库（如MongoDB、Cassandra等）则更适用于处理这类...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作