因为MySQL分库分表了，做报表的时候就很慢，我想通过把MySQL中的数据同步到大数据，然后通过查询大数据来实时展示。
谁能帮忙提供一个可以实现的思路吗？
微信扫一扫4条回答 默认 最新
报告相同问题？
提交
相关推荐 更多相似问题
- 2021-09-18 10:38回答 4 已采纳 你好像描述的有些问题吧？为什么查询大数据展示？你口中的大数据指定到底是什么？如果你是学习大数据（hadoop相关），使用java语言在做数仓项目，那么你可以参考一下这张图 查询数据一般从数据库里面查
- 2019-12-28 10:42回答 1 已采纳 你修改过问题？500亿以上数据，根本不适合使用mysql这样的关系型数据库，应该用neo4j这种图数据库 https://baike.baidu.com/item/Neo4j/9952114?fr=
- 2018-08-01 02:26回答 14 已采纳 下面方法select(String page)的page是前台传到后台的 ，然后处理下page从数据库中分页顺序取出数据 public JSONArray select(String page) {
- 2020-09-01 11:10Cloud_Tech的博客 当您需要将MySQL中的增量数据同步至Elasticsearch时，可通过Canal来实现。 本文以阿里云Elasticsearch和RDS MySQL为例，为您介绍数据同步的方法。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、...
- 2022-03-11 10:31只是喜欢玩大数据的博客 一.版本介绍： canal.admin ：1.1.4 canal.deployer ：1.1.4 canal.adapter ：1.1.4 ...仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维
- 2021-03-23 00:21高可用架构的博客 前言本文具体探讨 MySQL 数据实时同步到 Elasticsearch (以下简称 ES ) 技术方案和思考，同时使用一定篇幅介绍一些前置知识，从理论到实践，让读者更好的理解这块内容和相...
- 2019-08-30 11:02回答 8 已采纳 三种方案： 1.数据库触发器 在A电脑C表中建立触发器，然后将C表的增删改记录下来，放到一个中间表中，中间表中记录动的是哪个表，什么时间，id之类的数据， 然后写个跑批服务，定时去拉取中间表数据
- 2021-02-20 13:42回答 3 已采纳 自己用java就能写一个呀，也不难啊，而且可以用定时任务持续使用
- 2022-03-31 17:24回答 5 已采纳 其实没有实际的标准明确定义多少数据量算大数据，不过阿里开发手册中建议，表数据超过500万条时，建议考虑分表，以防影响查询效率，不过我们公司也有单表超过几千万条的数据，效率确实不高，所以理论上百万级别以
- 2022-03-30 13:52搬砖养女人的博客 全文篇幅1万字左右，从数据结构到Java再到大数据都有整理，可以先收藏起来，补缺补漏。ebay大数据组也持续招人。 一、 java基础 1、 Queue 和Stack你平时有用过么，说说你常用的方法，他们的却别在哪呢？ 2、 ...
- 2021-02-06 16:50AJaynar的博客 可能大家首先会想，这么大的数据，干嘛通过程序去实现导入，为什么不直接通过SQL导入到数据库。一、为什么一定要在代码实现说说为什么不能通过SQL直接导入到数据库，而是通过程序实现：1. 首先，这个导入功能开始...
- 2021-10-26 17:50ApacheDoris的博客 本文通过实例...
- 2018-09-26 08:42回答 7 已采纳 1、StartTime>=10.01 AND EndTime=10.01 AND EndTime=10.01 AND StartTime=10.31 4、StartTime=10.31
- 2017-07-23 09:12回答 2 已采纳 以解决，是分区太大，掩盖了之前的任务
- 2020-02-23 17:45回答 1 已采纳 如果这条数据不会有变动的话，其实不需要担心共享读会出现什么问题。 如果这条数据在共享读的时候会有变动可能性的话，最常用的方式就是在java层面加上一把锁，如果是单机版的情况下 加入synchroni
- 2021-12-02 21:30Apache Flink的博客 ▼ 关注「ApacheFlink」视频号，遇见更多大咖▼摘要：本文通过实例来演示怎么通过 Flink CDC 结合 Doris 的 Flink Connector 实现从 Mysql 数...
- 2021-08-24 22:48mm_ren的博客 前言互联网行业，除了数据量大之外，业务时效性要求也很高，甚至很多是要求实时的，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新...
- 2022-05-14 10:52只是喜欢玩大数据的博客 解决了传统数据库实时同步的痛点， 该技术抛弃了其他第三方组件（例如Kafka等），能够实时读取Mysql master节点全量和增量数据，能够捕获所有数据的变化，同时它完全与业务解耦，运维也及其简单。具体介绍请参考...
- 2018-01-25 09:39回答 4 已采纳 问题很明显啊 ，table'mysql.demo'doesn't exist ;demo这个表在mysql不存在啊，新建一个就可以了
- 2021-07-29 16:47シ風的博客 提高大数据实时处理平台的稳定性和高效性 提升自己分析定位及解决问题的能力 既懂得平台开发又懂得算法原理和应用 注重风控系统，监控大数据平台安全 前后端高吞吐交互处理以及服务的自动发现和多租户的权限处理 ...
- 没有解决我的问题, 去提问