weixin_49808136
weixin_49808136
2021-06-22 13:28
采纳率: 0%
浏览 39

按照以下需求编写shell脚本

create table t_record(
    id bigint auto_increment primary key,
    timet varchar(32),
    ptdate VARCHAR(32),
    tablename VARCHAR(128),
    databasename VARCHAR(128),
    filehost VARCHAR(32),
    record_num_oracle bigint,
    record_num_file bigint,
    record_num_hive bigint,
    zip_type varchar(16),
    md5 varchar(64),
    file_name varchar(1024),
    mstatus int ,
    date TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);


1、扫描mysql表,指定字段过滤(tablename)。
2、根据字段file_name 确定文件名 , 检查md5值是否一直, 并解压得到数据文件。
3、put到hdfs文件系统
4、load到hive临时表
5、insert到hive正式表
6、输出最终文件导入结果。

  • 点赞
  • 收藏

1条回答 默认 最新

  • Feng_wwf
    NDSC专家-王文峯 2021-06-22 15:15

    建议如下:如有帮助,请采纳一下,谢谢!  这个不难

    通过 shell的语法来执行相关的操作
    点赞 评论

相关推荐