在大数据量下，有时候出现数据缺失，表中数据缺失，数据错乱，这是什么原因，
2条回答 默认 最新
ycxjeremy 2017-06-14 00:30关注看是你使用什么方式存储数据，你是存到数据库还是写出到Excel表等等，我只能猜测是不是存储数据用的是Map之类的无序集合，你可以换成list这类有序的，就不会出现插入式错乱情况，或者对Map这类无序的集合进行排序等等。你可以把问题再详细点
解决 无用评论 打赏举报
分享
- 2017-03-06 02:47回答 5 已采纳 发送内容如果超过接收大小就按多次发送方式，比如一次发送8192，然后总数据量减速8192一直发送完全为止。
- 2016-01-14 03:33回答 5 已采纳 批处理.. 什么?批处理还不爽? 那就批处理这种语句:insert into XXX(a,b,c,d,d) values(1,1,1,1,1,),(2,2,2,2,2,2),(3,3,3,3,3)
- 2022-04-24 18:32回答 11 已采纳 如果你是springboot项目，像你说的那个批量处理数据什么的，你就用他自带的多线程方法ThreadPoolTaskExecutor，去处理，最后.join的方式加入到主线程，你只需要处理数据网数据
- 2022-08-23 17:18勉之~的博客 在处理大量数据库频繁插入时进行优化，避免出现OOM的情况
- 2023-04-23 09:57回答 2 已采纳 可以先将数据存储到Redis中，使用Redis的set、hset等存储，然后及时更新发布消息有Redis的发布订阅功能呀
- 2016-01-28 15:29回答 5 已采纳 结果是内存益处了 那就是你的程序太耗费资源了。 那个获取page的方法： 1--Page对象村的东西太多了，很多何你写入单元格的数据没关系， 既然这块逻辑是大数据量的，为什么不拆
- 2022-12-26 01:19回答 5 已采纳 可以看下该实例中对于Java Socket 数据传输 基础以及优化，链接：https://blog.csdn.net/z1766042975/article/details/112709438
- 2018-07-13 10:44以十的博客 package *.common.component...import java.util.ArrayList; import java.util.List; import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.Execut...
- 2018-08-01 02:26回答 14 已采纳 下面方法select(String page)的page是前台传到后台的 ，然后处理下page从数据库中分页顺序取出数据 public JSONArray select(String page) {
- 2019-10-21 16:52回答 2 已采纳 老铁 十几几十G说的是机器内存 一般程序内存都只是1G、2G 你这代码太烂了 我给你改了下 还有你并没有把你查询的结果传给ws啊 最后分批上传的话 每一批用完马上把组装参数的list置成nul
- 2021-07-07 16:09回答 4 已采纳 你把自动列宽关了试试
- 2019-04-25 10:25王绍桦的博客 import java.io.UnsupportedEncodingException; import java.util.List; import java.util.Map; import javax.servlet.http.HttpServletResponse; import org.apache.poi.ss.usermodel.BorderStyle; import org....
- 2021-03-02 03:10回答 2 已采纳 多数情况，可以不用数据库的连表查询，用代码进行单表查询后再聚合，对数据查询结果实时性要求不高的话，可以根据查询效率情况加主动缓存或者被动缓存。另外经纬度可以用mysql的geometry类型
- 2020-09-27 17:12别丢了one的博客 项目场景： 简述项目相关背景： ...APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();
- 2020-01-08 09:29会跑的葫芦怪的博客 业务难点:A库中表的数据量比较大,50W数据(相对意义大数据量),单纯select * from table 查询时间很长,而且容易内存溢出,并且数据清洗完插入B库中效率也是很慢的,我这里采取分批次处理,并且采用线程池 多线程处理数据 ...
- 没有解决我的问题, 去提问
