30G的文件，截取部分记录。如何快速有效？

Question

有个30G的文件。没有分隔符，需要根据文件中的位置，例如(第5-10位，15-20位的之类的记录）
清洗成一个4G左右的文件。

比如文件内容：

12欧卡男19900101安徽13908726545
13孔位男19900201北京13908726234
14萨拉男19901101山西13908726111

截取：第3-4位，第5位，第16-26位 这3个字段。

我的想法是用shell进行分割拼接处理，以前没有进行过这方面的开发。而且受服务器的性能限制，这个方案不太理想，所以求教，有没有更加有效的处理方式？

Answer 1

你的数据是分行的，你可使用python的，文件句柄的readline，或readlines方法来分块处理数据，使用方法如下：

f=open('data_file_name','r')
f.readline() 每次读一行
f.readlines(N) 每次可读入多行数据（总的数据长度不超过N字长），然后对数据逐行处理即可。磁盘读写比较费时，所以可是适当调整N值，
来以次读入多行，可以有效减少读数据的次数，效率会高一点