passself 2022-04-18 11:27 采纳率: 42.9%
浏览 171
已结题

python读取多文件搜索关键字，速度优化问题

python读取多文件搜索关键字，速度优化问题

现在的方式是传统的 with open file:

readlines 然后 每行用__contains__(关键字)

大约20多个关键字，搜索10w个文件，需要的时间是17分钟。

佬们有没有优化的方式，意见建议都行哈

  • 写回答

14条回答 默认 最新

  • 不会长胖的斜杠 新星创作者: 后端开发技术领域 2022-04-18 11:35
    关注
    获得1.00元问题酬金

    主要耗费时间是IO上，你看是否能把文件融合，达到减少IO的效果，如果不能减少数量的话，总体速度还是不够快
    如果不能减少数量，建议减少文件存储方式
    1.存储数据库
    2.使用其他格式，例如：假如是数组，改用为npy文件存储，速度会快很多
    3.如果是频繁读取，例如CS模式，可以将采取数据服务器一直将文件内容存在内存，就避免了IO操作

    其次，匹配关键字用的是啥函数？可以试试map，应该也会提速

    望采纳~

    评论 编辑记录

报告相同问题？

  • python实现根据文件关键字进行切分为多个文件的示例
    2020-09-19 21:11
    总结来说，这个Python示例提供了一种实用的方法，用于根据文件中的关键字将大文件切分成多个小文件。这种方法利用了正则表达式和线性缓存技术，既高效又节省资源，特别适合处理大型文本数据。对于需要对大量文本数据...
  • python实现按关键字筛选日志文件
    2020-09-18 05:46
    这个脚本适用于Python 2.x版本，主要功能是读取指定的日志文件，找出包含特定关键字的行，并将这些行写入新的日志文件中。 首先，脚本定义了一个函数`getParameters()`，它负责获取用户的输入。用户被要求输入要...
  • python读取txt文本并按照关键字生成相应excel表
    2021-01-20 03:31
    初学python，想利用编程读取txt文本并生成excel，记录一下。 txt数据源截取如下（将近2W行数据）： 00:00:06 RADV Voice Signal:-63dBm 00:00:09 RADD DATA Signal:-65dBm 00:00:12 RADV Voice Signal:-61dBm 00:00:...
  • 详解Python读取yaml文件多层菜单
    2020-09-19 12:50
    在本篇文章中，我们将探讨如何使用Python读取yaml文件中的多层菜单数据。为了实现这个功能，我们需要掌握以下几个关键的Python知识点： 1. **Python的对象属性方法**：Python中的对象可以拥有属性和方法，这些属性...
  • python读取大文件越来越慢的原因与解决
    2020-09-18 21:08
    在本文中，我们将探讨造成Python读取大文件速度减慢的原因，并给出相应的解决方法。 首先，一个常见的问题是由于Python垃圾回收机制（Garbage Collection，简称GC）造成的。在Python中，垃圾回收机制可以帮助程序...
  • pycdb:使用python读取.cdb文件
    2021-04-08 10:35
    pycdb 使用python读取.cdb文件。 仅支持部分关键字。 该程序实际上有两个部分。 第一部分称为CDB_Reader，用于解析cdb文件并将数据存储在特定的数据结构中。 第二部分IBE_Writer用于将cdb数据写入simdroid，大多数...
  • Python读取FITS文件[可运行源码]
    2025-11-15 08:18
    本文深入探讨了如何利用Python读取和处理FITS格式文件，FITS文件是一种常用于天文学领域存储图像和其他数据的标准格式。文章开始部分对FITS文件的基本结构进行了解析，阐述了头文件和数据单元的概念及其重要性。 ...
  • python 读取stl文件_python读取stlPython中nonlocal关键字
    2020-12-10 10:52
    weixin_39791653的博客 在这篇文章中介绍了“Python的闭包与nonlocal”的用法，因为nonlocal是在Python3.0中新增的关键字，python2.x不提供支持，文中提出在Python2.x解决嵌套函数引用外部变量的方法只有使用global 关键字定义全局变量，另...
  • python读取.txt文件中某些关键字后面的内容 并根据该数据画图
    2023-09-07 18:58
    爱不持久的博客 感谢一下悦姐帮忙 import re #先把文件读进来，用read读入的是字符串，readlines是list with open('resok.txt') as f: txt = f.read() dataset = r'5low:.*|5mix:.*|5normal:.*' para = r'MAE: (.{6})'#意思是MAE： ...
  • python多进程提取处理大量文本的关键词方法
    2020-09-20 10:14
    当处理大量文本数据时，单线程的处理方式难以满足效率和速度的需求，因此，本文将介绍如何利用Python的多进程技术来提取处理大量文本的关键词。 在Python中，使用多进程通常依赖于其标准库中的multiprocessing模块...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 4月26日
  • 赞助了问题酬金20元 4月18日
  • 创建了问题 4月18日