shell 大文件字符串替换

我想在shell中将一个文件中的字符串替换为另一个字符串,现在使用sed全局替换,但是速度特别慢,后来发现全文没有换行符,大概10m的文件就一行,sed处理字符串都是以行为单位读到内存,在内容少的时候处理还挺快,多了就慢的不行,请问有什么方法可以解决这个问题?

sed

5个回答

我去,别这么用啊,你这用法是让shell去从aaa文件读取,然后通过管道输入到sedstdin,然后再重定向sed的输出到bbb

这显然有更高效的办法:

sed -s  "/s/stra/strb/g" aaa > bbb

如果你是想直接把aaa这个文件改掉,那更简单:

sed -i  "/s/stra/strb/g" aaa

10M的文件不算大吧,你这里是行数还是文件大小?你的sed语句是什么样子的?能否提供?

Cashey1991
开水 你换个用法吧,方法我回复到另一个答案里了。
接近 5 年之前 回复
lth105
lth105 这个文件没有行分隔符,就一行。我用的sed "/s/stra/strb/g" <aaa >bbb
接近 5 年之前 回复

最好的办法是写一个程序让shell去调用。不知道你能否接受这样的方案。

10M的文件不是很大。如果可以的话,使用分段的形式来替代。

不要用sed,就只能自己写程序来做。效率上就需要测量,优化了

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
linux shell 如何替换字符串中‘[' ']'之间一段为其他字符串
环境Ubuntu 脚本文件sh 如何使用命令替换一长串字符串中 被中括号包含的部分。 例如: [f1r23f]Hello[1f134a]World,替换为=Hello=World
shell脚本中怎么把文件中每一行最后一字符串替换掉我想要的格式
例如我有一个test.sql文件 ``` geoadd key 24.9830, 106.2090, '昌平霍营村' geoadd key 24.9830, 106.2091, '昌平霍营村' geoadd key 24.9830, 106.2092, '昌平霍营村' geoadd key 24.9830, 106.2093, '昌平霍营村' ``` 替换成下面的这种格式,让最后一个字符串按照需要格式自增 ``` geoadd key 24.9830, 106.2090, '昌平霍营村$1' geoadd key 24.9830, 106.2091, '昌平霍营村$2' geoadd key 24.9830, 106.2092, '昌平霍营村$3' geoadd key 24.9830, 106.2093, '昌平霍营村$4' ``` 实在是想不出来改怎么实现这个功能了,只有2C币了,还请大神能够指点一二。谢谢了!
shell中怎么分割字符串
想在shell中分割字符串 如 com.vic.app,把分割结果放到一个数组里面,然后在使用数组,该怎么写呢? 看网上时 awk 'BEGIN{begno=123;split(begno,str,"");print str[1],str[2],str[3]}' 这里str的作用域太小了 后面代码用不到
Linux shell命令之从文件中提取要求的字符串
大家好!如题,如何用shell命令来提取文档中所有以a开头以z结尾的字符串呢?这些字符串长度都不一定相同。 grep只能定位到行,却不能截字符串,而用cut的话我只能想到的是截取第n位至第m位的字符串,但是如题所示,字符串并没有要求长度和位置,只要求了开头和结尾的字母,所以我要怎么办呢,大神求助!!!!!
shell 命令向一个文件追加字符串
1. ![![图片说明](https://img-ask.csdn.net/upload/201704/10/1491792400_22220.png)图片说明](https://img-ask.csdn.net/upload/201704/10/1491792393_537955.png)向一个文件中追加字符串,用echo试了试结果就是这样,该怎么弄才能添加
Linux shell中如何比较两个字符串的大小?
比较代码如下 ``` #!/bin/bash # mis-using string comparisons # val1=baseball val2=hockey # if [ $val1 \> $val2 ] then echo "$val1 is greater than $val2" else echo "$val1 is less than $val2" fi ``` 运行结果是 baseball is less than hockey 但是我的直觉是,‘baseball’长度比‘hockey’大,所以结果应该是‘baseball is greater than hockey’。 不知道Linux shell是如何比较两个字符串的大小? 求大神解答?
shell变量异常问题,echo变量右边的会替换左边的字符串
# shell变量异常问题 **table.txt里的内容是“EVENT_ID:VARCHAR:100”** 如下问题在变量后面加字符串,但是变量右边的会替换左边的字符串 ``` [root@hdp home]# var=`cat table.txt` [root@hdp home]# d=(${var//:/ }) [root@hdp home]# a=`echo ${d[2]}` [root@hdp home]# echo $a 100 [root@hdp home]# echo -e $a 100 [root@hdp home]# echo $a"b" b00 [root@hdp home]# echo "cccccc"$a"bbb" bbbccc100 [root@hdp home]# ```
字符串中部分包含于数组判断 SHELL实现
我有一个问题, 我有一个字符串,如果这个字符串中有部分匹配 到数组中的元素,那么就返回真,否则就返回假,我要的结果是正。 以下是我写的代码,不过好像都不能判断成正 #/bin/bash cname="img.g.pptv.chinacache.net. img.g.pptv.cncssr.chinacache.net. cc00113.h.cncssr.chinacache.net. hpcc-page.cncssr.chinacache.net." LX=("ccgslb.net" "ccgslb.com" "ccgslb.com.cn" "chinacache.net" "chinacache.com.cn" "lxsvc.cn") if [[ "$cname" =~ ${LX[@]} ]]; then echo “ok” fi
EFI Shell 如何获取用户输入字符串信息,并转化为变量
EFI Shell 如何获取用户输入字符串信息,并转化为变量。脚本命令好像没有,但是好像有个input.efi的工具,不知哪位大神有?
用shell脚本怎样实现A文件内数字和B文件数字相加,之和替换B文件里的数字?
![图片说明](https://img-ask.csdn.net/upload/202001/08/1578468465_472577.jpg) 文件格式如图: 1.txt中第二列数字与2.txt中第二列数字相加,行数一致的数字; 相加之和,替换2.txt第二列数字. 求大神帮忙!
如何用shell的文本处理命令(sed之类的)定位到文本文件中某字符串(如“sdf”)所在行并且在该行末尾(不是换行插入)拼接一些其他的字符?
比如有个“test.txt” 里面的内容是: -sdf dfd -abc -sdg 我想把该文本变成: -sdf dfd=hit -abc -sdg 看到区别了吗?“sdf”所在行的最后拼接了“=hit”。 该文本“test.txt”被修改了! 需要具体的实现代码,我已经看并尝试了好长时间的sed,awk之类的,无法实现这个操作,希望shell脚本高手指点!
linux 批量替换带有空格的字符串
将多个文件中的 //#define LOG 0 批量替换成 #define LOG 0 求linux指令,或者是一个脚本 重复写一遍: 将多个文件中的 //#define LOG 0 批量替换成 #define LOG 0 求linux指令,或者是一个脚本
Shell脚本的变量行替换
我想请问下shell中替换整行,且包含变量的格式是怎样的,如: sed '1c Hi' ab #第一行代替为Hi 我这边写的是:sed -i "${LineNum}c$RetvKey" $path $LineNum 是我获取的需要修改目标的行号,$RetvKey是替换后的字符,你知道我是哪里写错了吗,因为我一直找不到错误。谢谢指点!
字符串切片,哪里有错误
按照如下代码,遍历file中的字符串 ``` import matplotlib.pyplot as plt plt.figure() plt.axes() file=open("C:/Users/jyz_1/Desktop/新建文本文档.txt") file=file.read() lines=file.split("重庆") x=[0,10,20,30,40] tu1,tu2,tu3,tu4,tu5=0,0,0,0,0 tl1,tl2,tl3,tl4,tl5=0,0,0,0,0 for line in lines: tu=int(line[line.find("\n",line.index("\n")+1)+1:line.index("C")]) tl=int(line[line.index("~")+1:line.find("C",line.index("C")+1)]) ``` 然后python报错: ``` Traceback (most recent call last): File "C:\Users\jyz_1\AppData\Local\Programs\Python\Python37-32\13.py", line 11, in <module> tu=int(line[line.find("\n",line.index("\n")+1)+1:line.index("C")]) ValueError: invalid literal for int() with base 10: '阴\n10' ``` 使用debug发现是第二次索引file时tu的值错误 于是我在shell里尝试: ``` >>> lines=['2015-1-1\n阴\n11c~7c\n微风','2015-1-2\n阴\n10c~8c\n微风'] >>> for line in lines: line[line.find("\n",line.index("\n")+1)+1:line.index("c")] '11' '10' ``` 结果并没有出错!那么是哪里有问题呢?
shell脚本怎么用MD5加密字符串?
如果md5生成一个签名,请问怎么md5加密字符串str并赋值给sign呢? ``` #!/bin/bash keys="1b2fabd535fddf31a3b47d370779d217" str=${keys}"-"$RANDOM" sign=??这里该怎么把str的md5值赋值给变量sign? ```
shell脚本分别显示家目录下的文件
Linux系统shell显示文件:分别显示家目录下所有文件夹、普通文件、链接文件。
unix操作系统使用shell编程
请问怎么编写shell程序来创建10个文件,并且文件名从键盘输入。(使用循环语句)
shell编程字符串比较显示未找到命令?
![图片说明](https://img-ask.csdn.net/upload/201812/18/1545101734_163164.jpg)![图片说明](https://img-ask.csdn.net/upload/201812/18/1545101748_15785.jpg) 代码和错误情况如图所示
Shell Pyramid
Problem Description In the 17th century, with thunderous noise, dense smoke and blazing fire, battles on the sea were just the same as those in the modern times. But at that time, the cannon ,were extremely simple. It was just like an iron cylinder, with its rearward end sealed and forward end open. There was a small hole at the rearward end of it, which was used to install the fuse. The cannons on the warships were put on small vehicles which had four wheels and the shells were iron spheres with gunpowder in them. At that time, it was said that there was an intelligent captain, who was also a mathematician amateur. He liked to connect everything him met to mathematics. Before every battle, he often ordered the soldiers to put the shells on the deck and make those shells to form shell pyramids. Now let's suppose that a shell pyramid has four layers, and there will be a sequence of ordinal numbers in every layer. They are as the following figure: In the figure, they are the first layer, the second layer, the third layer and the fourth layer respectively from the left to the right. In the first layer, there is just 1 shell, and its ordinal number is 1. In the second layer, there are 3 shells, and their ordinal numbers are 1, 2, and 3. In the third layer, there are 6 shells, and their ordinal numbers are 1, 2, 3, 4, 5, and 6. In the fourth layer, there are 10 shells, and their ordinal numbers are shown in the figure above. There are also serial numbers for the whole shell pyramid. For example, the serial number for the third shell in the second layer is 4, the serial number for the fifth shell in the third layer is 9, and the serial number for the ninth shell in the fourth layer is 19. There is also a interrelated problem: If given one serial number s, then we can work out the s th shell is in what layer, what row and what column. Assume that the layer number is i, the row number is j and the column number is k, therefore, if s=19, then i=4, j=4 and k=3. Now let us continue to tell about the story about the captain. A battle was going to begin. The captain allotted the same amount of shells to every cannon. The shells were piled on the deck which formed the same shell pyramids by the cannon. While the enemy warships were near, the captain ordered to fire simultaneously. Thunderous sound then was heard. The captain listened carefully, then he knew that how many shells were used and how many were left. At the end of the battle, the captain won. During the break, he asked his subordinate a question: For a shell pyramid, if given the serial number s, how do you calculate the layer number i, the row number j and column number k? Input First input a number n,repersent n cases.For each case there a shell pyramid which is big enough, a integer is given, and this integer is the serial number s(s<2^63). There are several test cases. Input is terminated by the end of file. Output For each case, output the corresponding layer number i, row number j and column number k. Sample Input 2 19 75822050528572544 Sample Output 4 4 3 769099 111570 11179
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
有哪些让程序员受益终生的建议
从业五年多,辗转两个大厂,出过书,创过业,从技术小白成长为基层管理,联合几个业内大牛回答下这个问题,希望能帮到大家,记得帮我点赞哦。 敲黑板!!!读了这篇文章,你将知道如何才能进大厂,如何实现财务自由,如何在工作中游刃有余,这篇文章很长,但绝对是精品,记得帮我点赞哦!!!! 一腔肺腑之言,能看进去多少,就看你自己了!!! 目录: 在校生篇: 为什么要尽量进大厂? 如何选择语言及方...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小型人工智障。 知识可以运用在不同地方,不一定非是天气预报。
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
英特尔不为人知的 B 面
从 PC 时代至今,众人只知在 CPU、GPU、XPU、制程、工艺等战场中,英特尔在与同行硬件芯片制造商们的竞争中杀出重围,且在不断的成长进化中,成为全球知名的半导体公司。殊不知,在「刚硬」的背后,英特尔「柔性」的软件早已经做到了全方位的支持与支撑,并持续发挥独特的生态价值,推动产业合作共赢。 而对于这一不知人知的 B 面,很多人将其称之为英特尔隐形的翅膀,虽低调,但是影响力却不容小觑。 那么,在...
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看...
白话阿里巴巴Java开发手册高级篇
不久前,阿里巴巴发布了《阿里巴巴Java开发手册》,总结了阿里巴巴内部实际项目开发过程中开发人员应该遵守的研发流程规范,这些流程规范在一定程度上能够保证最终的项目交付质量,通过在时间中总结模式,并推广给广大开发人员,来避免研发人员在实践中容易犯的错误,确保最终在大规模协作的项目中达成既定目标。 无独有偶,笔者去年在公司里负责升级和制定研发流程、设计模板、设计标准、代码标准等规范,并在实际工作中进行...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
redis分布式锁,面试官请随便问,我都会
文章有点长并且绕,先来个图片缓冲下! 前言 现在的业务场景越来越复杂,使用的架构也就越来越复杂,分布式、高并发已经是业务要求的常态。像腾讯系的不少服务,还有CDN优化、异地多备份等处理。 说到分布式,就必然涉及到分布式锁的概念,如何保证不同机器不同线程的分布式锁同步呢? 实现要点 互斥性,同一时刻,智能有一个客户端持有锁。 防止死锁发生,如果持有锁的客户端崩溃没有主动释放锁,也要保证锁可以正常释...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
Python 编程开发 实用经验和技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法和技巧,包括小数保留指定位小数、判断变量的数据类型、类方法@classmethod、制表符中文对齐、遍历字典、datetime.timedelta的使用等,会持续更新......
YouTube排名第一的励志英文演讲《Dream(梦想)》
Idon’t know what that dream is that you have, I don't care how disappointing it might have been as you've been working toward that dream,but that dream that you’re holding in your mind, that it’s po...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
Java世界最常用的工具类库
Apache Commons Apache Commons有很多子项目 Google Guava 参考博客
相关热词 c# 引用mysql c#动态加载非托管dll c# 两个表数据同步 c# 返回浮点json c# imap 链接状态 c# 漂亮字 c# 上取整 除法 c#substring c#中延时关闭 c#线段拖拉
立即提问