普通网友 2017-03-14 02:34 采纳率: 0%
浏览 4524

Java 多线程处理亿万级数据

如果有10亿数据要处理，利用分页处理，用线程池处理，如果每个线程处理5000条，开50个线程也不够用啊。
如果无限制开线cpu肯定承受不住，对于这种要怎么处理？

  • 写回答

4条回答 默认 最新

  • oyljerry 2017-03-14 02:40
    关注

    分布式，把数据再分到多台机器上处理。大数据就是这么处理的

    评论

报告相同问题？

  • Java多线程调用生成多条数据 java
    2022-11-10 10:39
    回答 2 已采纳 1.统一社会信用代码设置为唯一键2.不做判断直接insert3.尝试捕获唯一键异常,如果是统一社会信用代码的唯一键冲突就执行更新 疑问:为啥已经存在的该企业,该企业还需要注册企业信息?
  • java多线程批量插入数据报错 java mysql spring boot
    2022-04-24 18:32
    回答 11 已采纳 如果你是springboot项目，像你说的那个批量处理数据什么的，你就用他自带的多线程方法ThreadPoolTaskExecutor，去处理，最后.join的方式加入到主线程，你只需要处理数据网数据
  • java多线程问题，多线程查询再合并结果 java
    2022-07-07 08:57
    回答 4 已采纳 看你说请求，我猜测应该是运行在工程中的，而不是自己写在main函数中的Demo,如果是运行在工程中的，那你的线程池ThreadPoolTaskExcutor是怎么初始化的。你贴的代码中并没体现，我猜测
  • java多线程处理百万数据
    2022-08-11 15:56
    Dreams°华的博客 java实现多线程处理数据
  • java 多线程 出现数据重复调用问题 java
    2015-05-04 02:25
    回答 3 已采纳 数据重复原因是多线程环境下未作同步处理导致的，可以参考这篇文章：http://blog.csdn.net/wojiushiwo945you/article/details/42553845 至于解决
  • java-多线程对数据进行下发 java spring
    2022-06-14 01:19
    回答 5 已采纳 我可以
  • java websocket通信中多线程问题 java
    2021-05-11 16:13
    回答 1 已采纳 一个连接一个session，链接数量和每个连接发送数据的大小有关系，java线程的创建和销毁是很好资源的，建议使用线程池，基于内存的消息队列是最快的，kafka是面向大数据的可以配置个多消息分区和消费
  • Java 多线程批量处理数据
    2023-11-07 13:47
    编程课堂的博客 在项目开发中需要处理100万多的数据，这些数据需要从mysql数据库中读取出来，再通过调用其他平台的接口推送数据。由于时间紧迫，数据需要在短时间内完成推送，采用单线程推送很慢，所以采用多线程推送来提高效率。
  • java多线程并发访问sqlite数据库如何同步和加锁 java sqlite
    2018-08-15 01:11
    回答 6 已采纳 http://www.cnblogs.com/linjiqin/p/3208843.html
  • 请问JAVA ODBC编程ResultSet多线程的问题 java
    2016-04-17 14:58
    回答 1 已采纳 result = result + resultSet.getString(DEF_COLUMN(i)); 用StringBuffer代替直接+运算连接，可以优化性能。 多线程没必要。
  • java多线程不同的id查询或更新需要加锁吗 java spring boot
    2022-05-07 16:09
    回答 2 已采纳 加不加锁，要看你的业务逻辑，不能一概而论如果你用的是生产者消费者模型，线程要去一个list里面拿数据，同时将拿到的数据从list里删除，那肯定要锁啊，否则不全乱了如果你数据来了直接丢线程池，线程池提供
  • 多线程处理大量数据 java
    2020-09-27 17:12
    别丢了one的博客 例如：获取大量数据并处理，生成execl文件导出 问题描述： 5W条数据处理后生成execl文件需要6个小时，效率慢 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler....
  • java多线程实际使用时需要new线程吗。 java
    2023-02-19 15:57
    回答 4 已采纳 线程池一句两句说不清，线程池几个核心参数，核心线程数，最大线程数，队列以及拒绝策略，比较完美的运行场景是线程池创建的线程达到核心线程数，阻塞队列的消费速率大于等于入队速率，线程的创建是线程池运行任务时
  • java多线程处理List数据
    2022-05-30 20:20
    JAVA叶知秋的博客 // 每500条数据开启一条线程 int threadSize = 5; // 总数据条数 int dataSize = list.size(); // 线程数 int threadNum = dataSize / threadSize + 1; // 定义标记,过滤threadNum为整数 boolean special = data...
  • java多线程导出excel（千万级别）优化
    2018-12-05 14:29
    轻松解决普通poi形式导出Excel的中出现的栈溢出问题，此资源可实现千万级数据分批导出csv文件，csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 使用C#，asp.net读取Excel文件并保存到Oracle数据库
  • ¥15 C# datagridview 单元格显示进度及值
  • ¥15 thinkphp6配合social login单点登录问题
  • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
  • ¥15 如何在scanpy上做差异基因和通路富集？
  • ¥20 关于#硬件工程#的问题，请各位专家解答！
  • ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错，维度不匹配