python读取多文件搜索关键字，速度优化问题
现在的方式是传统的 with open file:
readlines 然后 每行用__contains__(关键字)
大约20多个关键字，搜索10w个文件，需要的时间是17分钟。
佬们有没有优化的方式，意见建议都行哈
14条回答 默认 最新
关注获得1.00元问题酬金 主要耗费时间是IO上，你看是否能把文件融合，达到减少IO的效果，如果不能减少数量的话，总体速度还是不够快
如果不能减少数量，建议减少文件存储方式
1.存储数据库
2.使用其他格式，例如：假如是数组，改用为npy文件存储，速度会快很多
3.如果是频繁读取，例如CS模式，可以将采取数据服务器一直将文件内容存在内存，就避免了IO操作其次，匹配关键字用的是啥函数？可以试试map，应该也会提速
望采纳~
评论 打赏解决 1无用举报 编辑记录
分享
- 2022-01-07 13:07回答 1 已采纳 读取成字典后这样取值： dic={ "type": "FeatureCollection", "features": [ { "type": "
- 2021-10-06 18:21回答 1 已采纳 readlines读取文件后得到一个数组遍历数组，可以用for遍历到空行就continue匹配关键字用find函数 你中间说的匹配结果是不是错了mm10哪儿来的？
- 2023-04-21 18:11回答 3 已采纳 DataFrame没有append方法.用添加行的方式可以添加 matched_sentences.loc[len(matched_sentences)] = [df.iloc[i,0],df.ilo
- 2020-09-18 05:46今天小编大家分享一篇python实现按关键字筛选日志文件方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
- 2023-02-21 17:32回答 2 已采纳 由于没人回答，经不懈努力，终于成功解决了以上问题，虽然还很不成熟，希望能抛砖引玉。主要改进是：放弃了字典存储模式，用理简单的列表存储结果，以简化逻辑。本人是Python的初学者，以学为目的，主要用于解
- 2021-12-17 21:35回答 3 已采纳 https://pandas.pydata.org/docs/reference/api/pandas.Series.str.count.html?highlight=count#pandas.Ser
- 2022-03-16 11:18回答 1 已采纳 简单的方法就是 ， 适合数据不多的情况 用openpyxl库读入 excel2 到列表从尾部遍历excel1 ， 发现包含关键字， 用 delete_rows 方法删除
- 2021-01-20 03:31初学python，想利用编程读取txt文本并生成excel，记录一下。 txt数据源截取如下（将近2W行数据）： 00:00:06 RADV Voice Signal:-63dBm 00:00:09 RADD DATA Signal:-65dBm 00:00:12 RADV Voice Signal:-61dBm 00:00:...
- 2022-02-22 11:49回答 3 已采纳 使用docx读取段落自动编号比较麻烦，可以用另一个库docx2python，读取成列表,分级编号无论是数字还是字母都能读取出来 from docx2python import docx2python
- 2022-09-20 15:20回答 3 已采纳 with open('1.csv', 'r') as f: # 读取1 for line in f.readlines(): passwd = line.replace('
- 2019-03-07 11:51回答 1 已采纳 如果你本地邮件是用outlook存放的话，可以用mapi接口读取，包括未读的邮件 https://www.jianshu.com/p/58745e22eacb
- 2022-01-09 21:34西凉的悲伤的博客 python脚本多文件中搜索查询字符串关键字
- 2022-03-12 10:37回答 3 已采纳 你的意思是函数执行后没有打印输出还是?TranslateFile函数需要读取.\dst_dir目录下的文件读取,读取的PDF类文件,你的目录下放置文件了吗,还是路径不对
- 2023-09-07 18:58爱不持久的博客 感谢一下悦姐帮忙 import re #先把文件读进来，用read读入的是字符串，readlines是list with open('resok.txt') as f: txt = f.read() dataset = r'5low:.*|5mix:.*|5normal:.*' para = r'MAE: (.{6})'#意思是MAE： ...
- 2020-12-10 10:52weixin_39791653的博客 在这篇文章中介绍了“Python的闭包与nonlocal”的用法，因为nonlocal是在Python3.0中新增的关键字，python2.x不提供支持，文中提出在Python2.x解决嵌套函数引用外部变量的方法只有使用global 关键字定义全局变量，另...
- 没有解决我的问题, 去提问
问题事件
系统已结题
4月26日
赞助了问题酬金20元
4月18日-
创建了问题
4月18日
悬赏问题
- ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？
- ¥15 乘性高斯噪声在深度学习网络中的应用
- ¥15 运筹学排序问题中的在线排序
- ¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决
- ¥30 求一段fortran代码用IVF编译运行的结果
- ¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
- ¥15 C++ 头文件/宏冲突问题解决
- ¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
- ¥50 安卓adb backup备份子用户应用数据失败
- ¥20 有人能用聚类分析帮我分析一下文本内容嘛