每个文件夹，csv文件平均每分钟产生20个，需要全天一直不停的解析，如何处理
总共11个文件夹，还要整理csv文件里面的数据格式，还要和数据库表关联来筛选数据
之前使用kettle，但是一直不停解析，仅仅一两个文件夹就CPU遭不住了
一直很频繁的处理大量的csv文件
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
4条回答 默认 最新
三千烦恼丝xzh 2023-05-19 11:10关注关键点是csv文件的大小吧，至于后面的数据库比对计算只是堵塞IO倒是可以异步多线程之类跑，自己写Java调度会比kettle好很多
评论 打赏解决 1无用举报 编辑记录 分享
- 2022-04-02 22:20回答 2 已采纳 如果文件在当前工作目录下，用相对路径，另外如果数据中有中文的话，添加参数fileEncoding='utf8'： getwd() mydata<-read.table(file='ba.csv'
- 2022-08-25 17:34回答 2 已采纳 rxl<-read.csv("C:/Users/lenovo/Desktop/数据表.csv",check.names =FALSE) 加个参数就读入进去了
- 2022-03-29 22:33回答 2 已采纳 你确定文件名打对了么亦或是文件放对位置了没（同一个目录下），我这正常运行，
- 2021-05-21 01:00易语言提供了丰富的内置函数和模块，比如文件操作、字符串处理等，可以帮助开发者高效地处理CSV文件。在处理CSV数据时，我们通常会使用到如读取文件、分割字符串、遍历数组等基本操作。同时，为了进一步提升性能，还...
- 2023-02-22 11:35回答 1 已采纳 就用XML包就行了 library(XML) xmlfile <- xmlTreeParse("example.xml") person_data <- xmlToList(xmlfile
- 2022-11-13 09:17回答 1 已采纳 应该是中文编码的问题，你用记事本打开csv，然后另存为，编码方式选择utf-8，再读取就没问题了，还有最后一行要有一个空行，这个也是容易犯的错。
- 2022-03-18 16:05回答 2 已采纳 import pandas as pd import re df = pd.DataFrame({'Category':['C,D','A,B,C','A,D','C','A,D','A,B,C','
- 2020-09-20 16:53首先，文章标题为“python实现csv格式文件转为asc格式文件的方法”，从标题我们得知，这篇文章将会详细讲述如何使用Python编程语言来实现CSV格式文件向ASC格式文件的转换。CSV，全称为逗号分隔值文件，是一种常用的...
- 2022-12-18 23:04回答 3 已采纳 csv格式不对吧，怎么有双引号遍历文件、快速列表访问方式读取grade.csv这2个没明白什么意思。 下面是read，readline和readlines的实现，注意csv格式内容和代码中一样 '''
- 2022-07-24 12:25回答 2 已采纳 要通过循环去读文件，文件名就应该是有规律的，例如file1.csv file2.csv. 获取文件夹下所有的csv文件名，然后遍历QStringList 去打开文件操作 QStringList MSy
- 2020-01-29 00:00回答 1 已采纳 data<-read.csv(file = "文件名", header = FALSE)
- 2022-12-14 19:59本压缩包“Excel-VBA宏编程实例源代码-数据的导入导出-导出Excel文件到文本文件中.zip”提供了一个具体的例子，展示了如何通过VBA宏将Excel数据导出到文本文件中。这个功能在办公自动化场景中非常实用，尤其当你需要...
- 2019-05-27 11:46回答 3 已采纳 I striped out the progress bar as i did not want to bother about it, but overall this is closer to
- 2024-01-03 14:24这就是编程的博客 原文：LLMs and Programming in the first days of 2024首先我要明确，这篇文章并不旨在回顾大语言模型。显而易见，2023 年对人工智能来说是不平凡的一年，再去强调这一点似乎没有多大必要。这篇文章更多是作为一位...
- 2020-12-15 09:43在处理大量数据或频繁导出时，还可以考虑编写脚本自动化这个过程，或者利用图形界面工具如SQLyog、Navicat等，它们提供了更直观且功能丰富的数据导入/导出功能。此外，编程语言如Python、PHP也有相应的库支持从MySQL...
- 没有解决我的问题, 去提问
问题事件
创建了问题
5月19日
悬赏问题
- ¥15 鼠标右键，撤销删除 复制 移动，要怎样删除
- ¥15 使用MATLAB进行余弦相似度计算加速
- ¥15 服务器安装php5.6版本
- ¥15 我想用51单片机和数码管做一个从0开始的计数表 我写了一串代码 但是放到单片机里面数码管只闪烁一下然后熄灭
- ¥20 系统工程中，状态空间模型中状态方程的应用。请猛男来完整讲一下下面所有问题
- ¥15 我想在WPF的Model Code中获取ViewModel Code中的一个参数
- ¥15 arcgis处理土地利用道路 建筑 林地分类
- ¥20 使用visual studio 工具用C++语音，调用openslsx库读取excel文件的sheet问题
- ¥100 寻会做云闪付tn转h5支付链接的技术
- ¥15 DockerSwarm跨节点无法访问问题