我库里有一张表 里面大概有百亿数据 然后我要将这百亿数据再次以每个数据重新生成100条数据插入到另外一张表，请问有什么方法可以快速处理 在最短时间内处理好
4条回答 默认 最新
蔡能教授，网站特聘专家 2019-12-28 13:11关注这个需要用到分布式数据库，也就是多个计算机并行插入才能快，单台计算机性能肯定不行。
另外可以使用NEO4J，它对于这种坐标点的存储具有比数据库更大的优势
以上意见希望采纳
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2022-08-08 21:59回答 3 已采纳 java数据挖掘 数据仓储 数据清洗 全栈都可以啊 具体可以了解下hadoop
- 2019-11-06 15:47回答 2 已采纳 1: 把表设置为 unloged 表。这样不写日志，速度会快很多。插入完成后可修改表设置为loged。但是请注意：unloged表在数据库异常关机或者崩溃后，数据会丢失。 2: 批量 insert
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2023-06-21 14:5410. 数据分析与JavaJava在大数据领域扮演着重要角色，因为它是一种广泛使用的编程语言，具有丰富的库和工具支持大数据处理。例如，Apache Mahout是一个基于Java的机器学习库，提供了多种算法用于分类、聚类和推荐...
- 2018-03-12 05:34回答 2 已采纳 你有abc这张表吗，我看你的图片好像没有
- 2022-10-12 21:51回答 1 已采纳 解决了，没有开启checkpoint导致，加上下面代码即可env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);env.getCh
- 2022-07-09 16:18回答 1 已采纳 问题解决了，不好提供数据源，是201.42的虚拟机实验Mapperpackage com.mystudy.hadoopPro; import java.io.IOException;import ja
- 2021-09-30 15:37首先，Map阶段是MapReduce的核心部分，它的任务是对输入数据进行拆分和转换。在文本分析的场景下，这个阶段通常包括读取文本文件、分割文本行（通常是按行处理）、提取关键词或特征，并将这些关键词与它们对应的值...
- 2022-10-25 18:47回答 1 已采纳 这里提示： Field 'remarks' doesn't have a default value没有填入默认值的地方，没有插入元素你把这个字段'remarks'需要插入值，或者你修改一下'rema
- 回答 3 已采纳 你可以这样查看hive的执行计划： ``` > explain insert into t2 select value from t; OK Plan optimi
- 2010-08-03 18:43回答 2 已采纳 研究了一中午，终于把这个问题解决了！ 1.创建test数据表（nclob好像不行，我改为clob了，不知是否影响你的使用？）： [code="java"]create table nclob_te
- 2020-09-29 17:11总的来说，本项目通过Java多线程技术，结合合理的数据切分和线程池管理，实现对大数据的高效批量处理。通过分析和优化这些关键点，我们可以根据实际情况调整参数，进一步提高数据导入导出的效率。
- 2024-09-02 16:59利用多线程：Java提供了多线程支持，可以将数据处理任务分配给多个线程并行执行。这可以大大提高数据处理的速度。注意，在使用多线程时需要考虑线程安全的问题，如使用线程安全的数据结构或进行适当的同步操作。 ...
- 2020-12-15 23:35例如，文章中提到的 Java 程序，将数据读取和插入操作分隔，当数据量达到一定阈值（如10万条）时，启动新线程执行插入操作。这样，多个线程并行工作，减少了单一事务的处理时间，提升了整体性能。 2. **批量插入...
- 2022-05-20 14:59Java多线程实现数据切割批量执行，实现限流操作。 java线程池Executors实现数据批量操作。 批量异步Executors处理数据，实现限流操作，QPS限流。 线程池调用第三方接口限流实现逻辑。 案例适合： 1.批量处理大数据。...
- 没有解决我的问题, 去提问
