qq_28633249
杨先森的博客
采纳率100%
2020-04-30 15:34

如何通过shell语句解析某一列的json并输出里面字段

10
已采纳

怎么编写shell语句,将数据中的某一列json格式的数据提取解析出来,并追加在对应的那条数据后面。尽量用shell语言实现,如果有其他简便方法也可以

原始数据内容如下:

335970 | 115 | {"traceid":"0421000841sgm6p","pixeldata":-13075235,"pixelcoordinate":"703,160","pixelabnormaldata":0,"collectedpixeldata":"703,160"}

335971 | 116 | {"traceid":"0421000666sgm6p","pixeldata":-12325235,"pixelcoordinate":"733,144","pixelabnormaldata":1,"collectedpixeldata":"333,132

结果数据:

335970 | 115 | 0421000841sgm6p | -13075235 | 703,160 | 0 | 703,160

335971 | 116 | 0421000666sgm6p | -12325235 | 733,144 | 1 | 333,132

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

2条回答

  • wojiushiwo945you 毕小宝 1年前

    使用 awk 的shelll 编程,首先定义一个数据文件 data.log

    335970 | 115 | {"traceid":"0421000841sgm6p","pixeldata":-13075235,"pixelcoordinate":"703,160","pixelabnormaldata":0,"collectedpixeldata":"703,160"} 
    335971 | 116 | {"traceid":"0421000666sgm6p","pixeldata":-12325235,"pixelcoordinate":"733,144","pixelabnormaldata":1,"collectedpixeldata":"333,132 
    

    其次,编写处理命令如下:

    awk -F "|"  -vOFS="|"  '{l=split($3,arr,",\"");$3="";for(i=1;i<=l;i++){ll=split(arr[i],arr2,":"); if(i!=1)$3=$3"|";$3=$3arr2[2]} ;gsub(/\"/,"",$3);gsub(/\}/,"",$3);print }' ./data.log
    

    最后执行结果:
    图片说明

    语法说明,使用 Awk 用 | 连接输出,其中单独对 第三列再处理,最后对无用字符替换,处理逻辑如下;

    {
    l=split($3,arr,",\""); // 对第三列用 ," 分割,得到 JSON 的 key-value
    $3="";
    for(i=1;i<=l;i++){ // 遍历第三列的 JSON 属性
       ll=split(arr[i],arr2,":"); // 再对每一个 key-value 用: 分割
       if(i!=1)$3=$3"|"; // 非第一个 key-value 的时候,需要连接符号 |
       $3=$3arr2[2]} ; // 拼接新的第三例,只取JSON 的 值列
       gsub(/\"/,"",$3); // 替换值的 "
       gsub(/\}/,"",$3); // 替换掉右侧的 }
       print 
    }
    

    不对第三列的最终结果替换是这样的:
    图片说明

    点赞 1 评论 复制链接分享
  • qq_39412061 吃鸡王者 1年前

    python 实现如下:

    a='335970 | 115 | {"traceid":"0421000841sgm6p","pixeldata":-13075235,"pixelcoordinate":"703,160","pixelabnormaldata":0,"collectedpixeldata":"703,160"}'
    tmp=a.split('|')
    kk=eval(tmp[2])
    tmp=tmp[:2]+list(kk.values())
    tmp=map(str,tmp)
    tmp="|".join(tmp)
    print(tmp)

    输出结果:
    335970 | 115 |0421000841sgm6p|-13075235|703,160|0|703,160

    点赞 1 评论 复制链接分享