weuliang
weuliang
采纳率0%
2016-03-13 19:48 阅读 1.6k

python 处理大量数据的正则表达式替换问题

如图我有一个文件有大量类似这样的数据,我在数据库内有这些ip地址跟路由器号的对应关系,我想要把这些ip地址全部替换为对应的路由器号。目前我用的是逐行用正则表达式找到这些ip地址并进行替换,但因为一个文件有300多万行,处理起来很慢,有没有什么方法可以使得处理更快???
图片说明

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

4条回答 默认 最新

  • fateflv fateland 2016-03-14 08:19

    如果先排序再替换的话可能会快点,但是你这是路由追踪信息,那就不能排序了,否则排序后对路由追踪就没有意义了,只能逐行替换。

    点赞 评论 复制链接分享
  • oyljerry oyljerry 2016-03-14 13:13

    如果是一行行数据 那么可以试试一行行的生成器 然后再用正则来匹配

    点赞 评论 复制链接分享
  • qq_32637017 qq_32637017 2016-03-14 15:51

    请问一下你的逐行正则怎么实现的,我也在处理类似的问题,还望指教,能把代码贴出来吗

    点赞 评论 复制链接分享
  • u010911997 Mr.Yun 2016-03-17 14:07

    大文件切成小文件,然后多线程可否?

    点赞 评论 复制链接分享