lth105
2015-04-15 14:33
采纳率: 100%
浏览 3.3k
已采纳

shell 大文件字符串替换

我想在shell中将一个文件中的字符串替换为另一个字符串,现在使用sed全局替换,但是速度特别慢,后来发现全文没有换行符,大概10m的文件就一行,sed处理字符串都是以行为单位读到内存,在内容少的时候处理还挺快,多了就慢的不行,请问有什么方法可以解决这个问题?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

5条回答 默认 最新

  • 开水 2015-04-16 06:38
    已采纳

    我去,别这么用啊,你这用法是让shell去从aaa文件读取,然后通过管道输入到sedstdin,然后再重定向sed的输出到bbb

    这显然有更高效的办法:

    sed -s  "/s/stra/strb/g" aaa > bbb
    

    如果你是想直接把aaa这个文件改掉,那更简单:

    sed -i  "/s/stra/strb/g" aaa
    
    点赞 评论
  • 开水 2015-04-15 15:46

    10M的文件不算大吧,你这里是行数还是文件大小?你的sed语句是什么样子的?能否提供?

    点赞 评论
  • blownewbee 2015-04-15 16:19

    最好的办法是写一个程序让shell去调用。不知道你能否接受这样的方案。

    点赞 评论
  • Dogfish 2015-04-15 16:31

    10M的文件不是很大。如果可以的话,使用分段的形式来替代。

    点赞 评论
  • oyljerry 2015-04-15 23:42

    不要用sed,就只能自己写程序来做。效率上就需要测量,优化了

    点赞 评论

相关推荐 更多相似问题