数据来源是某网站上的公开数据,而且不排除这些数据会不定时更新...不过由于数据量比较大,所以我就想用多线程添加进数据库. 但是在入库的时候发现数据出现大量重复:我当时开了4个线程,最后存入数据库的数据量就是标准的4倍之多,也就是单个线程他已经把全部数据都取下来了. 但如果不用多线程的话,执行效率着实有点低. 有什么办法能在数据进入数据库之前就去重吗? 毕竟我不想对数据库做什么改动,而且数据库的效率有点低...
6条回答
- 2022-04-24 18:32回答 11 已采纳 如果你是springboot项目，像你说的那个批量处理数据什么的，你就用他自带的多线程方法ThreadPoolTaskExecutor，去处理，最后.join的方式加入到主线程，你只需要处理数据网数据
- 2017-09-13 05:43回答 4 已采纳 1、可能是用户在编写业务层时，出现了问题，从而导致了多次插入相同数据 2、查询sdb中出现重复的数据，通过对比它们的_id，如果它们不一样，说明了很有可能是用户在编写自己业务层时，出现了逻辑问题，从
- 2015-05-04 02:25回答 3 已采纳 数据重复原因是多线程环境下未作同步处理导致的，可以参考这篇文章：http://blog.csdn.net/wojiushiwo945you/article/details/42553845 至于解决
- 2021-04-10 13:56Bay Bay的博客 往下继续就是我们用的比较多的ArrayList类了，相信说自己学过Java的都接触过这个类吧,实现的接口有Serializable, Cloneable, Iterable, Collection, List, RandomAccess，这个类和Vector很像，只是这个不是线程安全...
- 2022-11-10 10:39回答 2 已采纳 1.统一社会信用代码设置为唯一键2.不做判断直接insert3.尝试捕获唯一键异常,如果是统一社会信用代码的唯一键冲突就执行更新 疑问:为啥已经存在的该企业,该企业还需要注册企业信息?
- 2021-11-07 14:02回答 1 已采纳 开辟线程是要占用资源的，第一个相当于开了10万个线程池，第二个开了100万个线程池，而你只用了了一个线程，开线程也是占用时间的，还会引起阻塞
- 2016-04-07 07:58回答 2 已采纳 文件本身不要并发，应该分块读取到内存中，让不同的线程处理。
- 2022-07-07 10:15潘小磊的博客 如第一章所述，我们将数据采集分为...对于大数据系统来说，包含数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据服务或数据应用两个方面。本章侧重讲解数据从业务系统同步进入数据仓库这个环节，但其适用
- 2022-06-14 01:19回答 5 已采纳 我可以
- 2017-12-26 04:16回答 6 已采纳 两个可能性，一个是你的点太多，或者持续增多，导致内存溢出。 一个是你没有正确同步或者滥用同步，造成不必要的上锁。 不知道你是怎么绘制的坐标点，是否启用了双缓冲，启用双缓冲可以提高性能。 用vs带
- 2017-09-15 04:08回答 1 已采纳 http://blog.sina.com.cn/s/blog_13ec737150102x58p.html
- 2021-02-02 17:02蜂蜜柚子加苦茶的博客 Python数据爬取数据采集常用数据爬取工具安装配置Scrpy框架 数据采集 数据来源 从网上爬取数据（crawling） 从文件系统收集数据（scraping） 文件、数据库等 ...多线程，爬取效率高 安装配置Scrp
- 2018-09-20 09:01回答 3 已采纳 不一定，其他线程正常释放obj的锁也可以
- 2023-07-12 12:50Bigdata_shit的博客 1.19.2 如何创建多线程 1.19.3 如何创建线程池 1.19.4 ThreadPoolExecutor构造函数参数解析 1.19.5 列举线程安全的Map集合 1.19.6 StringBuffer和StringBuilder的区别 1.19.7 ArrayList和LinkedList的区别 1.19.8 ...
- 2021-03-09 16:30爱学习的菜鸟罢了的博客 Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,...
- 没有解决我的问题, 去提问
