怎么使用shell解析数据库导出的csv文件 5C

数据库导出的csv文件有三列信息,分为表名,字段名和索引名,需要对比从两个数据库导出的csv文件,分别输出他们的相同部分和不同部分到新的csv文件中

3个回答

需求不明确,如果有多列索引,csv是什么样子?不同部分输出到2个文件还是同一中?
下面是一个最简单的例子:

旧表定义
 baluzju $ cat oldDD.csv 
table1,col1,idx1
table1,col2,idx2                                                                                                              
table1,col3,idx3
新表定义
baluzju $ cat newDD.csv
table1,col1,idx1 
table1,col3,idx3x        
table1,col4,idx4
table2,col2,idx2
相同的行
baluzju $ diff oldDD.csv newDD.csv  -y | grep -v "|" | grep -v ">" | grep -v "<" | awk  '{print $1}' 
table1,col1,idx1 
不同的行part1
baluzju $ diff oldDD.csv newDD.csv | grep ">" | awk -F">" '{print $2}'
 table1,col3,idx3x
 table1,col4,idx4 
 table2,col2,idx2
不同的行part2
baluzju $ diff oldDD.csv newDD.csv | grep "<" | awk -F"<" '{print $2}'
 table1,col2,idx2
 table1,col3,idx3
qq_24743299
qq_24743299 怎么样可以忽略idx项进行比较呢?
大约 3 年之前 回复
qq_24743299
qq_24743299 能不能用这里的命令写个shell脚本,我刚学shell脚本,大神求教
大约 3 年之前 回复

你这种再用shell就有点麻烦了,可以用python等脚本,它可以比较轻松的实现

MySQL中导入导出数据时,使用CSV格式时的命令行参数

在导出数据时使用:select ... from ... [where ...] into outfile '/tmp/data.csv' $MYSQL_CSV_FORMAT;

在导入数据时使用:load data infile '/tmp/data.csv' into table ... $MYSQL_CSV_FORMAT;

CSV标准文档:RFC 4180

MYSQL_CSV_FORMAT="fields terminated by ',' optionally enclosed by '\"' escaped by '\"' lines terminated by '\r\n'"

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
shell编写解析csv文件的脚本
使用shell编写比较两份csv文件的脚本,要求列出两份csv文件的相同之处和每份csv文件独有的数据,求大神啊!
shell脚本解析csv文件
shell编写比较两份csv文件的不同之处,csv文件是从数据库中导出的,要求使用shell脚本比较出他们的不同之处并列出来
shell脚本实现索引对比工具
使用shell实现比较从不同数据库导出的csv文件,csv文件中的信息包括表名、字段名和索引名三列数据,要求输出两份csv文件独有的数据和共有的数据
shell脚本解析csv文件?
csv文件有三列数据,分别为表名,字段名,索引名,要求使用shell脚本将文件中的数据取出放在数组中。
使用shell命令,比较两份csv文件的差异
linux系统下有两份csv文件,都有表名,字段名,索引名三列数据,现在忽略索引名,对比两份文件的表名和字段名,输出两份文件的异同部分。
Shell脚本实现连接Oracle数据库并生成数据文件
Oracle数据库:10.251.11.1:1521/orcl,用户名/密码-scott/tiger; 应用服务器是另一台服务器,可以正常和10.251.11.1:1521通讯。 在应用服务器上编写一个Shell脚本,连接Oracle数据库并导出数据生成数据文件。
使用shell或者python,在csv文件中,第一行标题头中,增加3列
例如:有 a.csv文件内容如下 Name,Age,Tel, cz,27,13333333333, cc,29,13344444444, 修改后csv内容为: ID,School,Address,Name,Age,Tel, ,,, cz,27,13333333333, ,,, cc,29,13344444444,
linux 上使用shell在导出单个表
怎么在linux 上使用shell在导出单个表,线等,就是说想从云端导一个表的数据到本数据库,怎么实现?
CSV文件导入SQL SERVER
使用数据库SQL SERVER 因为CSV文件包含多个CSV小文件,格式如下: NAME GENTLE TIME ATTR1 ATTR2 K F 0918 123 159 NAME GENTLE TIME ATTR1 ATTR2 K M 0919 135 246 NAME HEIGHT TIME ATTR3 ATTR4 ATTR5 J 165 0918 159 556 456 J 170 0919 856 735 895 可以看到NAME那一行是下面数据的意义,而且把不同NAME的数据分割开了 我想根据不同NAME,创建不同表,并根据NAME导入不同的表 而且,这种CSV文件有很多个需要同时导入 请问有没有不使用编程语言,只使用SQL或CMD(或shell)的办法,导入SQL SERVER数据库 如果能提供源码,最好了 如果不行,烦请提供可行方案(函数接口,如BULK INSERT重要参数的设置等) 因为要的着急,所以请理论党绕行。如有得罪请多包涵,但也请理解心情。 非常感谢!
求解答{悬赏}如何渗透检测漏洞获取shell加固数据库技术
求解答{悬赏}如何渗透检测漏洞获取shell加固数据库技术 寻求专业人士安全评估渗透测试shell获取、下载某数据库加固、漏洞检测修补、应急响应等; 熟练掌握内网渗透的相关知识,熟悉各种内网入侵/渗透技术. 熟悉黑客常用的攻击技术、手法和相应防范措施,精通WEB安全攻击和防范方法. 能做请+扣扣3008~4332在线等侯
SQLite数据库的shell删除命令
使用Shell删除数据库,不知道DROP/DELETE命令是什么?我试过`DROP wsemp, DELETE wsemp`了。
如何写一个bat shell之类的脚本,从远端sql数据库查询数据,并导出到本地excel
请教如何编写一个.bat,shell之类的脚本,连接远端mysql数据库,并执行sql语句查询数据,并导然后到本地excel
怎么使用shell下载ftp远程文件
现在有个需求,是要到别人的服务器下载文件。 之前使用java的ftp去下载,但是经过评估以后这种方法不适用,不稳定,文件还特别大,特别多,java应用程序不靠谱。 现在想用shell 脚本实现。 首先我会在我的服务器上放入一个txt文件,里面每行代表一个对方文件名称比如/201610/xxx.csv.gz 然后我想用shell脚本遍历这个txt然后挨个下载文件到本地服务目录(/data1/ftp_data/mro/),没有写过shell, 给位大神指点一二?谢谢啦
如何使用Java程序或shell脚本删除某目录下匹配文件名的文件.
如何使用Java程序或shell脚本删除某目录下匹配文件名的文件.
unix操作系统使用shell编程
请问怎么编写shell程序来创建10个文件,并且文件名从键盘输入。(使用循环语句)
如何通过shell脚本实现对文件名中数字做加法以达到修改文件名的效果?
当前目录下,有文件名为test_qwe_rty_201711192130_P10.csv,test_qwe_rty_201711192130_P11.csv、test_qwe_rty_201711192130_P12.csv、test_qwe_rty_201711192130_P13.csv、.....、test_qwe_rty_201711192130_P19.csv的文件,如何通过shell脚本将字母P后的数字加10,达到修改文件名的效果? 想通过周期性执行此shell脚本,以达到周期性更改当前目录下文件名。
shell脚本中,如何处理一个文件
从数据库中unload出来一些记录. 放在了hello.txt文件中. 里面的记录如下 123456|20130520|-1 123456|20130521|-1 123456|20130522|-1 123456|20130523|-1 123456|20130524|-1 123456|20130525|-1 之后,解析hello.txt文件,分别取出里面的时间.也就是2013052x..放在下面的ftp的传文件的记录中. ftp -nv 1.1.1.1 <<! user harry redhat binary put world_2013052x.txt **********上面解析出来的hello.txt文件的日期,在这里用到了. close bye ! 由于.从数据库中取出来的记录有多条.所以ftp传文件这块,是不是用到了循环. 还有,解析出来的日期,最好存到一个变量中.我到时候还要对数据库的记录进行更新.
相见恨晚的超实用网站
搞学习 知乎:www.zhihu.com 简答题:http://www.jiandati.com/ 网易公开课:https://open.163.com/ted/ 网易云课堂:https://study.163.com/ 中国大学MOOC:www.icourse163.org 网易云课堂:study.163.com 哔哩哔哩弹幕网:www.bilibili.com 我要自学网:www.51zxw
花了20分钟,给女朋友们写了一个web版群聊程序
参考博客 [1]https://www.byteslounge.com/tutorials/java-ee-html5-websocket-example
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
字节跳动视频编解码面经
引言 本文主要是记录一下面试字节跳动的经历。 三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
Python 基础(一):入门必备知识
目录1 标识符2 关键字3 引号4 编码5 输入输出6 缩进7 多行8 注释9 数据类型10 运算符10.1 常用运算符10.2 运算符优先级 1 标识符 标识符是编程时使用的名字,用于给变量、函数、语句块等命名,Python 中标识符由字母、数字、下划线组成,不能以数字开头,区分大小写。 以下划线开头的标识符有特殊含义,单下划线开头的标识符,如:_xxx ,表示不能直接访问的类属性,需通过类提供
这30个CSS选择器,你必须熟记(上)
关注前端达人,与你共同进步CSS的魅力就是让我们前端工程师像设计师一样进行网页的设计,我们能轻而易举的改变颜色、布局、制作出漂亮的影音效果等等,我们只需要改几行代码,不需...
国产开源API网关项目进入Apache孵化器:APISIX
点击蓝色“程序猿DD”关注我回复“资源”获取独家整理的学习资料!近日,又有一个开源项目加入了这个Java开源界大名鼎鼎的Apache基金会,开始进行孵化器。项目名称:AP...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
编写Spring MVC控制器的14个技巧
本期目录 1.使用@Controller构造型 2.实现控制器接口 3.扩展AbstractController类 4.为处理程序方法指定URL映射 5.为处理程序方法指定HTTP请求方法 6.将请求参数映射到处理程序方法 7.返回模型和视图 8.将对象放入模型 9.处理程序方法中的重定向 10.处理表格提交和表格验证 11.处理文件上传 12.在控制器中自动装配业务类 ...
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
求小姐姐抠图竟遭白眼?痛定思痛,我决定用 Python 自力更生!
点击蓝色“Python空间”关注我丫加个“星标”,每天一起快乐的学习大家好,我是 Rocky0429,一个刚恰完午饭,正在用刷网页浪费生命的蒟蒻...一堆堆无聊八卦信息的网页内容慢慢使我的双眼模糊,一个哈欠打出了三斤老泪,就在此时我看到了一张图片:是谁!是谁把我女朋友的照片放出来的!awsl!太好看了叭...等等,那个背景上的一堆鬼画符是什么鬼?!真是看不下去!叔叔婶婶能忍,隔壁老王的三姨妈的四表...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员...
相关热词 c# plc s1200 c#里氏转换原则 c# 主界面 c# do loop c#存为组套 模板 c# 停掉协程 c# rgb 读取图片 c# 图片颜色调整 最快 c#多张图片上传 c#密封类与密封方法
立即提问