两个文件存储数据以某列为主键(如学号,还有100多列其它字段)如何对比找出相同数据、不同数据、两个文件之间互不存在的数据这些情况:两个文件都超过1G?(不用elasearch、建表关联这些,纯java实现方式)
1条回答 默认 最新
- 明教第三十四代觉主 2021-03-19 11:29关注
仅供参考:
1、如果内存足够大,直接读到内存中直接处理就完了;
2、考虑将文件数据中的每一行数据进行计算,得到一个md5,比较两个文件不同行的md5值即可,达到节省内存的目的;
解决 无用评论 打赏 举报
悬赏问题
- ¥15 关于#hadoop#的问题
- ¥15 (标签-Python|关键词-socket)
- ¥15 keil里为什么main.c定义的函数在it.c调用不了
- ¥50 切换TabTip键盘的输入法
- ¥15 可否在不同线程中调用封装数据库操作的类
- ¥15 微带串馈天线阵列每个阵元宽度计算
- ¥15 keil的map文件中Image component sizes各项意思
- ¥20 求个正点原子stm32f407开发版的贪吃蛇游戏
- ¥15 划分vlan后,链路不通了?
- ¥20 求各位懂行的人,注册表能不能看到usb使用得具体信息,干了什么,传输了什么数据