大数据查询的解决方案,求大神赐教。 50C

想问个问题 :java大数据查询的解决方案。
导致查询速率较慢的原因:1. 查询的基础的数据量很大 (百万级别) 2. 关联的表较多

1

4个回答

如果对实时性要求不是很高,可以对一些查询结果做缓存,冗余字段,或者临时表,比如把关联的字段先放入主表的冗余字段。比如对一些统计值每天或者每小时算出一个统计值存入。
对历史数据库封存,并且冻结统计。

另外,分布式数据库,分库分表,多机查询等也可以提高性能。这个要具体优化了。

2

为什么是java查询大数据,这个应该在是数据库优化吧。优化表结构和查询语句。
没做过百万级别,我最多也就是十万级别的小型数据而已,关联的表也不多,可能帮不了你

1
pixie15
酥糖君 回复洞庭湖爱蓉蓉: 性能问题确实挺烦人的。
3 年多之前 回复
pixie15
酥糖君 回复洞庭湖爱蓉蓉: 性能问题确实挺烦人的。
3 年多之前 回复
RSKY1314
洞庭湖爱蓉蓉 数据库是db2 ,该有的索引都有,sql上也没什么改的了,诶。。。不知道怎么才能提高性能
3 年多之前 回复

分层做多次哈希,分解查询压力。

0

可以考虑尝试一下YDB

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
July大神的大数据解决思路
作者:July 出处:结构之法算法之道blog 前言    一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿背负这样的罪名,:-),同时,此文可以看做是对这篇文章:十道海量数据处理面试题与十个方法大总结的一般抽象性总结。     毕竟受文章和理论之限,本文摒弃绝大
用java编写了一个计算器,阐述下编程过程遇到的难点?
首先,我认为编程之前
尚硅谷大数据大神班(一共30几个阶段)
尚硅谷大数据全套,注意并不是官网的那一套,一共有30几个阶段
大数据的解决方案--------分布式数据库
分布式数据库是将不同的表存放到不同的数据库中然后再 放到不同的服务器。这样在处理请求时。如果需要调用多个表,则可以让多太服务器同事处理,从而提高处理速度。 — 数据库集群(读写分离)的作用是将多个请求分配到不同的服务器处理,从而减轻单台服务器的压力。而分布式数据库是解决单个请求本身接很复杂的问题,他可以将单个请求分配到多个服务器处理,使用分布式后的每个节点还可以同时使用读写分离,从而组成多个节点点
关系型数据库下的大数据解决方案
【课程内容】 第1课: 大数据时代的到来 第2课: 分布式数据库和中间件 第3课: 海量数据之分区 第4课: 海量数据之索引 第5课: 海量数据之并行 第6课: 海量数据之数据压缩 第7课: 海量数据之初始化参数 第8课: 海量数据之SQL优化 第9课: dbms_stats包 第10课: 数据加载 第11课: 数据管理 第12课: RAC & DG 第13课: 大数据时代DBA的职业规划和方向
大数据学习之路(跟着大神学习一波)
前言: 一、背景介绍 二、大数据介绍 正文: 一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐(书籍,博客,网站) 五、项目案例分析(批处理+实时处理)   大数据学习群:119599574 前言 一、背景介绍 本人目前是一名大数据工程师,项目数据50T,日均数据增长20G左右,个人是从Java后端开发,经过3个月的业余自学成...
高并发.大数据--统计数据--解决方案
一般的公司都需要用到数据统计,一般都是写统计sql,查询交易流水表,就搞定了。在流水记录不太多的情况,这样做没问题;如果交易流水很大,就需要好好设计一下了,下面我们讨论交易数据量很大的情况。 大致思路如下: 1.我们需要设计一个统计表。 2.定时任务将交易流水表中的数据进行加工之后,更新到统计表中; 思路: 1.设置一个游标index,作用: 记录更新到交易流水表的哪条记录了以及
大数据从小白到大神之成长路线图[持续更新]
000 大数据领域职位成长图和相关技能图谱 大数据职位.png 看不清的请下载pdf 001 在大数据行业有很多职位,可以分为4个方向,数据分析类,研发类,算法类,产品经理类;一个大数据应用的项目,是由这四类岗位的人一起合作完成的,如果你一开始以为只有大数据研发工程师这一类职位,那这算是跟你认知有不同,在现实的大数据项目中,可能提出问题比实现工程更难,更重要。 有意思的是,在你的职...
大数据量,高并发解决方案
解决大数据量高并发要考虑多方面的1.HTML静态化2.静态文件服务器分离  如图片、css、js文件等;3.数据库集群4.负载均衡5.缓存6.读写分离
C语言版flappy bird
大神的C语言版flappy bird,可以随意修改,欢迎赐教讨论
Hadoop中新型大数据查询引擎:Apache Calcite
来自: http://www.infoq.com/cn/articles/new-big-data-hadoop-query-engine-apache-calcite http://www.open-open.com/lib/view/open1442458630727.html   Apache Calcite是面向Hadoop新的查询引擎,它提供了标准的SQL语言、多种查询优化和连接...
wepon大神的 大数据竞赛平台——Kaggle 入门篇
大数据竞赛平台——Kaggle 入门篇
近期项目上遇到大数据量查询,下面是相应注意项和解决方案
1、尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。2、考虑在 where 及 order by 涉及的列上建立索引。3、尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表中num列没...
大数据量、高并发量网站解决方案
一个小型的网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要
易语言钓鱼源码
求大神买走 求大神买走 易语言钓鱼源码
大数据的完整解决方案和体系化
大数据的完整解决方案和体系化 [日期:2014-11-25] 来源:人月神话的新浪博客  作者:人月神话 [字体:大 中 小]   对于大数据,后面会作为一个系列来谈,大数据涉及的方面特别多,包括主数据,数据中心和ODS,SOA,云计算,业务BI等很多方面的内容。前面看到一个提法,即大数据会让我们更加关注业务方面的内容,而云平台则更多是技术层面的内容。对
大数据解决方案:实时日志处理系统架构及整体思路
1.实时日志处理系统架构及整体思路   整个系统分为三层:收集(Agent)层,汇总(Collector)层和处理层。 其中Agent层采用flume收集日志,每个机器部署一个进程,负责对单机的日志收集工作; Collector层flume部署在后端服务器上,负责接收Agent层发送的日志,汇总并决定最终流向; 对于单个日志文件的服务器,flume采用传统的source-channe...
高并发与大数据解决方案概述
随着业务的不断丰富,高并发和海量数据的处理日益成为影响系统性能的重要问题。下面将提供一些针对并发问题和海量数据处理的解决方案。
大数据学习之路【跟着大神学习一波】
【转载】http://blog.csdn.net/zys_1997/article/details/78358992前言:一、背景介绍二、大数据介绍正文:一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐(书籍,博客,网站)五、项目案例分析(批处理+实时处理)前言一、背景介绍本人目前是一名大数据工程师,项目数据50T,日均数据增长20G左右,个人是从Java后...
大数据量一般解决办法
转自:http://blog.csdn.net/wchyumo2009/article/details/8738639 感谢原作者 处理海量数据问题,无非就是: 分而治之/hash映射 + hash统计 + 堆/快速/归并排序; Bloom filter/Bitmap;Trie树/数据库/倒排索引;外排序;分布式处理之hadoop/mapreduce。 本文接下来的
尚硅谷最新大数据视频
Hadoop、Hive、HBase、Kafka、Flume、Sqoop。自学也能拿15k月薪的大数据Hadoop全套教程,涵盖Hadoop生态圈全部关键技术及项目实战(含视频、源码、课件等)
初中文凭可以学C语言吗。。那刚开始应该看什么书呢
流光是国内目前来说相当不错的黑客软件|||建议你还是先学BASIC语言吧.像VB 学习一下面向对象的理论 然后升级为c++ 你就需要一下学习一些数学知识 即使有现成的别人写的要也自己再照着输入一次.再往后你就可以自己看一下数据结构了 指针. 最主要是自己动手敲代码 链表 记下来.往下看就是了.等基础掌握差不多了再去看后面的结构体 多看.看不懂不要紧 然后多读 下别人的c语言经典代码
大数据_hive_常见问题及解决方案
数据倾斜 在创建表时指定倾斜字段、倾斜值 1、快速链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-SkewedTables 2、示例一: CREATE TABLE list_bucket_single (key STRING, value STRING)
求大神帮助,大数据解决方案,在线等!
目前有一个百万级别数据的站点,目前待定有两个方案rn1.静态生成html页面rn2.动态页面使用nginx缓存数据rnrnrn第一种生成太耗时间了,如果用第二种方案如何永久缓存数据呢?rnrn需求页面内容从数据库中查询出来后需要永久在当前页面,页面数据包含rand随机抽取,
大数据详单表存储、查询方案
详单表采用分区表(外部表), 在查询时,引擎用的impala,偶尔会出现卡住的情况,影响用户体验。 正常情况3-5秒出数据,卡住就不好说了,有时120秒,有时150秒,,,,,,,,,,,有3种方案:1.当天的数据就让其实时入库, 昨天以及之前的数据,分表存储(迁移到另外的历史表中),实现冷热分离。查询较多的,主要是当天, 意思就是,当天的数据不管读写分不分离,最多17个小时(客户17点下班) ,...
hive大数据数据倾斜原因与解决方案总结
在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的
大数据学习之路【跟着阿里云大神学习一波】
一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐(书籍,博客,网站) 五、项目案例分析(批处理+实时处理) 大数据介绍 大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。 针对以上主要的4个特征...
如何处理工作中同事的吝于赐教?
在IT工作的5年开发工作中,我还是第一次碰到我求助别人,可是别人却对你吝于赐教。真受不了。我以前是做代码开发的,我的同事和我一样,对别人的求助都是耐心指导。可是现在我开始做测试,我发现我向某几个人请教问题时,却发现他们要么不回答你,要么对你进行敷衍,好像害怕别人懂得比他多似的。 开发和测试有这么大区别么?大家有遇到类似情况么?我觉得只有在某些国企才有可能遇到这种情况,在那里做事
c# 大数据量比较时-方案
1、当面临千万条数据量的比较时,从技术的角度来说应该用泛型键值(c#键值由于用了散列算法速度很快)。例如前几天我需要查的是 航空公司、出发、到达、返点可以将 航空公司-出发-到达做一个键,返点作为值。 if (dtsourceBT.Rows.Count > 0) { dBaitour = new Dictiona
大数据架构师之路-大数据解决方案大全
七牛是如何搞定每天500亿条日志的http://blog.qiniu.com/archives/3928
大数据量下高并发同步的解决方案
大数据量下高并发同步的讲解(不看,保证你后悔)      对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。    为了更好的理解并发和同步,我们需要先明白两个重要的概念:同步和异步    1、同步和异步的区别
求大神赐教编码问题?
[code=java]import java.io.FileInputStream;rnimport java.io.FileWriter;rnimport java.io.IOException;rnimport java.io.UnsupportedEncodingException;rnimport java.util.Arrays;rnrnrnpublic class Demo8 rn public static void main(String [] args) throws IOException rn String str = "中国";rn System.out.print("默认:"+Arrays.toString(str.getBytes())+"\r\n");rn System.out.println("gbk2312码表:"+Arrays.toString(str.getBytes("gb2312")));rn System.out.println("utf-8码表:"+Arrays.toString(str.getBytes("utf-8")));rn System.out.println("unicode码表:"+Arrays.toString(str.getBytes("unicode")));rn rn FileWriter writer = new FileWriter("d:\\1.txt");rn writer.write(str);rn writer.flush();rn FileInputStream in = new FileInputStream("d:\\1.txt");rn System.out.println("我一个一个字节的读回来怎么不一样了");rn System.out.print(in.read()+"-");rn System.out.print(in.read()+"-");rn System.out.print(in.read()+"-");rn System.out.print(in.read()+"-");rn System.out.print(in.read()+"-");rn System.out.print(in.read()+"-");rn rnrn rnrn[/code]
求大神赐教!!!!!!
10.125.197.118:8080/17lai/checkpreload.htmrn咋么在项目WEB-INF下配置把17lai这个应用名去掉rn10.125.197.118:8080/checkpreload.htmrn
求单元测试大神赐教
我想用单元测试来测试一个web项目,此项目中用到了hibernate和spring,怎么样才能对此项目进行单元测试。目前本人在看junit,由于其中用到了hibernate,每个模块和其他模块的关联也比较多,想做单元测试难度比较大,求赐教应该怎么做。rn现在主要是不知道具体操作应该如何入手。迷茫啊!~
求rails大神赐教
执行rake db:migrate RAILS_ENV=production时出错rnrake aborted!rnFile to import not found or unreadable: variables.rnLoad path: Sass::Rails::Importer(.../application.css.rnscss)rn (in ..../application.css.scss)rnrn这个问题怎么解决呢
求大神赐教
大神帮忙给个答案,谢谢!rnrn1,假设带表头结点的单向链表头指针为head,试编写一个算法将值为5的结点插入到连接表的第i个结点前,病对该链表进行排序。rnrn2,设Q[0:6]是一个循环队列,初始状态front=rear=3,画出下列操作后该队列及头尾指针的变化情况,若不能入列,请指出其元素并说明理由。rnrn3,给定一组元素25、30、36、54、17、20、94、15、21、83、10,试画出由此产生的二叉排序树。
求大神赐教!!!!!!!!!!!!!!!!!!!!
qq空间里,图片通过改变观看着不同而改变图片上的qq号码,是怎么回事?rn求详细的脚本语句。
最全的大数据解决方案.pdf
最全的大数据解决方案,最全的大数据解决方案.最全的大数据解决方案最全的大数据解决方案
Oracle大数据解决方案架构
Oracle大数据解决方案架构Oracle大数据解决方案架构Oracle大数据解决方案架构Oracle大数据解决方案架构Oracle大数据解决方案架构Oracle大数据解决方案架构Oracle大数据解决方案架构Oracle大数据解决方案架构
尚硅谷大数据视频教程
01_大数据技术之Linux基础 02_大数据技术之Hadoop 03_大数据技术之Zookeeper 04_大数据技术之Hive框架基础 06_大数据技术之Sqoop 07_大数据技术之Flume 08_大数据技术之kafka 09_大数据技术之HBase 10_大数据技术之Hadoop-HA 11_大数据技术之Oozie 05_大数据技术之项目:Youtube 12_大数据技术之项目:电信客服
文章热词 设计制作学习 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据大神班 大数据学校解决方案