每个文件夹，csv文件平均每分钟产生20个，需要全天一直不停的解析，如何处理
总共11个文件夹，还要整理csv文件里面的数据格式，还要和数据库表关联来筛选数据
之前使用kettle，但是一直不停解析，仅仅一两个文件夹就CPU遭不住了
一直很频繁的处理大量的csv文件
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
4条回答
三千烦恼丝xzh 2023-05-19 11:10关注关键点是csv文件的大小吧，至于后面的数据库比对计算只是堵塞IO倒是可以异步多线程之类跑，自己写Java调度会比kettle好很多
评论 打赏解决 1无用举报 编辑记录 分享
- 2021-05-21 01:00易语言提供了丰富的内置函数和模块，比如文件操作、字符串处理等，可以帮助开发者高效地处理CSV文件。在处理CSV数据时，我们通常会使用到如读取文件、分割字符串、遍历数组等基本操作。同时，为了进一步提升性能，还...
- 2020-09-20 16:53首先，文章标题为“python实现csv格式文件转为asc格式文件的方法”，从标题我们得知，这篇文章将会详细讲述如何使用Python编程语言来实现CSV格式文件向ASC格式文件的转换。CSV，全称为逗号分隔值文件，是一种常用的...
- 2025-04-23 08:17Python作为一门强大的编程语言，其简洁的语法和丰富的库使得这种转换工作变得异常简便。 在Python中，可以使用多种库来实现CSV到XLSX的转换。其中最常见的库包括`csv`和`pandas`。`csv`模块是Python标准库的一部分...
- 2025-08-09 00:31体制教科书的博客 本章节中，我们探讨了在C#中读取CSV文件的两种基础方法：一种是使用传统的字符串操作方法，另一种是采用以提高...通过本章节的介绍，我们能够了解CSV文件格式的基本结构，并掌握了在C#环境下读取和处理CSV文件的方法。
- 2025-10-03 00:50是处理数据并将数据保存到CSV文件。为了将数据保存为CSV格式，Python的csv模块提供了非常便捷的方法。 在编写爬虫的过程中，需要特别注意遵守目标网站的robots.txt文件中的爬虫协议，这是网站管理者用来指示爬虫...
- 2025-04-14 22:10Python爬虫项目的博客 CSV文件的每一行代表一个记录，字段之间由逗号分隔。由于CSV格式简单、广泛支持，常常用来存储和交换数据。csv复制编辑本文介绍了如何使用Python爬虫抓取网页数据并将数据存储为CSV文件。通过使用requestsSelenium。
- 2022-12-14 19:59本压缩包“Excel-VBA宏编程实例源代码-数据的导入导出-导出Excel文件到文本文件中.zip”提供了一个具体的例子，展示了如何通过VBA宏将Excel数据导出到文本文件中。这个功能在办公自动化场景中非常实用，尤其当你需要...
- 2024-01-03 14:24这就是编程的博客 原文：LLMs and Programming in the first days of 2024首先我要明确，这篇文章并不旨在回顾大语言模型。显而易见，2023 年对人工智能来说是不平凡的一年，再去强调这一点似乎没有多大必要。这篇文章更多是作为一位...
- 2025-11-20 10:14pearlowl67的博客 CSV文件通常采用UTF-8编码存储，而Excel默认使用ANSI编码方式打开文件，这两种编码标准对中文字符的处理方式不同，导致直接打开时出现乱码现象。此方法会永久改变文件编码，适合需要频繁编辑CSV文件的用户。需要注意...
- 2020-12-15 09:43在处理大量数据或频繁导出时，还可以考虑编写脚本自动化这个过程，或者利用图形界面工具如SQLyog、Navicat等，它们提供了更直观且功能丰富的数据导入/导出功能。此外，编程语言如Python、PHP也有相应的库支持从MySQL...
- 没有解决我的问题, 去提问
问题事件
创建了问题
5月19日