2 weuliang weuliang 于 2016.03.14 03:48 提问

python 处理大量数据的正则表达式替换问题

如图我有一个文件有大量类似这样的数据,我在数据库内有这些ip地址跟路由器号的对应关系,我想要把这些ip地址全部替换为对应的路由器号。目前我用的是逐行用正则表达式找到这些ip地址并进行替换,但因为一个文件有300多万行,处理起来很慢,有没有什么方法可以使得处理更快???
图片说明

4个回答

fateflv
fateflv   2016.03.14 16:19

如果先排序再替换的话可能会快点,但是你这是路由追踪信息,那就不能排序了,否则排序后对路由追踪就没有意义了,只能逐行替换。

oyljerry
oyljerry   Ds   Rxr 2016.03.14 21:13

如果是一行行数据 那么可以试试一行行的生成器 然后再用正则来匹配

qq_32637017
qq_32637017   2016.03.14 23:51

请问一下你的逐行正则怎么实现的,我也在处理类似的问题,还望指教,能把代码贴出来吗

u010911997
u010911997   2016.03.17 22:07

大文件切成小文件,然后多线程可否?

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!