hackgetRich6 2022-04-06 22:07 采纳率: 44.4%
浏览 20
已结题

有关数据并发处理的问题

现有一个业务，需要对文件进行数据检查，一份文件数据大概有3-4w条（逐条检查），都会发往检查服务上检查，如果数据没问题才入库此份文件。 如何可以减小这个服务的压力，如果mq的话数据分发到不同服务器上，某条有问题其余服务器又如何知道该份文件的数据不需入库，感谢

  • 写回答

1条回答 默认 最新

  • Juwell16 2022-04-07 10:37
    关注

    加节点分批次处理数据是对的，对于多节点，不知道是否需要入库，就要加点记录，针对某个文件，分成了几批次，每一批次检查完都记录上某个文件-某批次是否通过，最后再获取这些检查结果来对比，只要全部通过就入库，只要有一个没通过就不入库，最后把检查记录删掉

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • 有关数据并发处理的问题 java
    2022-04-06 22:07
    回答 1 已采纳 加节点分批次处理数据是对的，对于多节点，不知道是否需要入库，就要加点记录，针对某个文件，分成了几批次，每一批次检查完都记录上某个文件-某批次是否通过，最后再获取这些检查结果来对比，只要全部通过就入库，
  • 关于JAVA SOCKET UDP的高并发丢包问题 java udp
    2022-06-08 11:37
    回答 2 已采纳 1.调用recv方法接收端收到数据后，处理数据花了一些时间，处理完后再次调用recv方法，在这二次调用间隔里,发过来的包可能丢失。对于这种情况可以修改接收端，将包接收后存入一个缓冲区，然后迅速返回继续
  • java并发读数据库问题 java 有问必答
    2021-06-26 12:08
    回答 3 已采纳 现在 想到了 行
  • 详解java解决分布式环境中高并发环境下数据插入重复问题
    2020-08-26 04:42
    主要介绍了java解决并发数据重复问题 ，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
  • java多线程并发访问sqlite数据库如何同步和加锁 java sqlite
    2018-08-15 01:11
    回答 6 已采纳 http://www.cnblogs.com/linjiqin/p/3208843.html
  • 关于高并发数据的读写该怎么处理 java mysql python 有问必答
    2021-12-13 23:39
    回答 3 已采纳 尝试使用redis,数据结构设置好了以后完全没有问题,也可以读写分库,比如读取为1库,写入为2库,将其区分开来,读取库设置过期时间,过期后数据自动删除,写入库设置自动任务.读取库设置自动任务或者定时任
  • java websocket通信中多线程问题 java
    2021-05-11 16:13
    回答 1 已采纳 一个连接一个session，链接数量和每个连接发送数据的大小有关系，java线程的创建和销毁是很好资源的，建议使用线程池，基于内存的消息队列是最快的，kafka是面向大数据的可以配置个多消息分区和消费
  • MySQL并发更新数据时的处理方法
    2020-09-09 03:26
    在后端开发中我们不可避免的会遇见MySQL数据并发更新的情况，作为一名后端研发，如何解决这类问题也是必须要知道的，同时这也是面试中经常考察的知识点。
  • 关于mysql数据库无事务前提下并发修改的问题 java mysql
    2022-04-05 10:13
    回答 5 已采纳 不会出现你说的情况，因为一个线程update时，mysql会加行级锁，另一个线程会阻塞等待。 如有帮助，请采纳，十分感谢！
  • java多线程问题，多线程查询再合并结果 java
    2022-07-07 08:57
    回答 4 已采纳 看你说请求，我猜测应该是运行在工程中的，而不是自己写在main函数中的Demo,如果是运行在工程中的，那你的线程池ThreadPoolTaskExcutor是怎么初始化的。你贴的代码中并没体现，我猜测
  • 从数据库查询20w数据太慢，怎么用多线程并行查询汇总list集合 java
    2021-03-05 16:08
    回答 3 已采纳 countdownlatch就能让主线程等待，子线程全部执行完再执行主线程代码！或者jdk8的Future，也能让主线程等待
  • 基于Java实现的火车票抢票并发数据结构处理.zip
    2023-02-21 18:44
    资源包含文件：源码+设计报告word和pdf 购票时系统在阈值次数内采用随机分配的方式产生车票，并对该车票进行检查，即查询 该车票是否可购买，如果可购买，则对该座位进行加锁（lock），之后再重复一次检查，若依 旧...
  • 分布式环境下并发加锁问题
    2012-08-30 18:25
    回答 4 已采纳 标题是分布式环境，电脑总数量固定，并且电脑售出时，需要修改各经销商最大销售量。 本人提供方案如下： 1.把电脑数量以及经销商最大销售量统一到一个server中。如a 2.各分布式应用在获取数量时
  • java如何解决高并发问题_java怎么处理高并发？
    2021-02-26 21:38
    Enthusiast的博客 java处理高并发的方法：1、优化代码，减少不必要的资源浪费；2、把图片与页面进行分离，将图片放到独立的图片服器；3、使用缓存，可以大量减少与数据库的交互，提高性能；4、使用数据库集群；5、进行DB优化；6、硬件...
  • Java中，如何正确地处理并发问题？
    2024-01-04 15:30
    生活如此？！的博客 如ConcurrentHashMap, CopyOnWriteArrayList等，这些集合类是为并发环境优化的。如synchronized关键字、ReentrantLock等，确保共享数据在多线程之间正确访问。如AtomicInteger等，提供无锁的线程安全操作。识别和...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 6月2日
  • 已采纳回答 5月25日
  • 创建了问题 4月6日

悬赏问题

  • ¥170 如图所示配置eNSP
  • ¥20 docker里部署springboot项目，访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏！微信开发者工具报错，求帮改
  • ¥20 wireshark抓不到vlan
  • ¥20 关于#stm32#的问题：需要指导自动酸碱滴定仪的原理图程序代码及仿真
  • ¥20 设计一款异域新娘的视频相亲软件需要哪些技术支持
  • ¥15 stata安慰剂检验作图但是真实值不出现在图上
  • ¥15 c程序不知道为什么得不到结果
  • ¥15 键盘指令混乱情况下的启动盘系统重装