项目要做关于对仗的业务，可能会大批量操作远程ftp上的文件，
请问有没有好一点的框架组合能处理这些
spring batch + quartz？
hadoop？
storm？
这些技术都没怎么用过 求建议 谢谢 新人 勿喷
java关于大批量处理文件框架选择的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
关注不知道你这个问题是否已经解决, 如果还没有解决的话:- 这篇文章讲的很详细，请看：java 多线程 并发 处理 大文件
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^解决 无用评论 打赏举报 分享
- 2017-04-07 03:59回答 11 已采纳 jar包 CommonsMultipartResolver解析器依赖commons-fileupload和commons-io，加入如下jar包： Commons-fileupload.jar
- 2016-04-25 02:15回答 1 已采纳 开线程可能会造成内存溢出的问题，这样的任务应该交给多台服务器多个线程来处理，这样又快又安全。
- 2016-04-09 09:35回答 1 已采纳 spring是一个容器 通过 xml 管理bean 所以 他的路径可以在xml里定义
- 2020-04-07 18:30目前java框架中能够生成excel文件的的确不少，但是，能够生成大数据量的excel框架，我倒是没发现，一般数据量大了都会出现内存溢出，所以，生成大数据量的excel文件要返璞归真，用java的基础技术,IO流来实现。...
- 2017-06-03 17:03回答 3 已采纳 Apache 的POI怎么样 http://poi.apache.org/
- 2016-03-28 11:57回答 2 已采纳 首先，分析下报错的这行代码，因为你既然使用的是readObject，那么你的文件timetracker.data中必须存的是通过java序列化的一个ArrayList对象，然后writeObject写
- 2018-10-17 10:41回答 1 已采纳 ``` Iterator it = ftp.listFiles("/目录"); int i = 0; while (it.hasNext() && ++i < 10) { Ft
- 2020-06-10 07:55dnc8371的博客 在公司需要处理不断增长的数据量的各个领域中，对大数据的概念有不同的理解。 在大多数这些情况下，需要以某种方式设计所考虑的系统，以便能够处理该数据，而不会随着数据大小的增加而牺牲吞吐量。 从本质上讲，这...
- 2015-05-07 10:58回答 6 已采纳 先把数据写到文件（比如csv格式），上传到服务器，导入的SQL很简单（注意是服务器上文件路径） ``` BULK INSERT table1 FROM 'D:\mydata.csv' WITH
- 2017-10-23 07:17回答 3 已采纳 spring默认注入的bean的名字是类名首字母小写，你可以尝试下把Service实现类即GDGuDongServiceImpl上加个注解@Service("gDGuDongService"),应该是
- 2015-04-09 05:20回答 1 已采纳 1、先握手，先传这文件的基本信息，比如名称，后缀，文件大小 2、然后开始接受文件。如果会和其他信息会有交叉，那消息传递时固定大小并且消息前面留出标记位，知道这是文件的信息。 3、对方根据文件大小接
- 2022-09-01 17:20夜の雨的博客 java导出我准备分为三篇文章介绍文件格式篇xls,xlsx,csv,分批查询导出篇,异步多线程导出篇一起来看看吧Java导出excel文件 我分为了xls,xlsx,csv三个文件格式首先介绍下三种文件格式的优劣导出少量数据 需要表头样式...
- 2017-11-22 02:25回答 2 已采纳 只要你JDK环境装对了 会自动编译好class文件的 一般在你项目的\target\classes 里面
- 2022-02-17 16:01m0_50904795的博客 但是这种方式存在一个问题,就是内存消耗的问题，当A系统某张表数据量太大，通过一次性读取到内存，会导致OOM,即内存溢出。因此，为了减少内存的消耗，本次数据迁移采用了mybatis的流式查询(流式查询指的
- 2019-12-11 18:18小码农叔叔的博客 一旦单表数据量过大，查询数据的时候就会变得异常卡顿，虽然在大多数情况下并不需要查询所有的数据，而是通过分页或缓存的形式去减少或者避免这个问题，但是仍然存在需要这样的场景，比如需要导出一大批数据到excel...
- 没有解决我的问题, 去提问
