在其他服务器的hive集群上查数据

描述:服务器a里有hive,可以查询数据,服务器b里有hive,也可以查数据,a和b属于不同的集群,hive里的东西不一样,可以从a连上b,即两台服务器的网是互通的。
需求:我想在服务器a里写一个shell,去查服务器b里的hive里的数据(脚本无论如何都想写在服务器a上)
有描述不清的可以再问,求大神指点,谢谢

0

2个回答

脚本里写ssh登录到b,提前配置一下免密登录,后面写查询语句即可

0

那你就使用expect 去写shell就可以了,这个肯定可以满足你的需求的

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hive:从一台机器上的表数据导入到另一台机器的hive中的某张表(机器不互通)
先在第一台机器执行: 1.创建目录 root/dirTmp 2.导出数据 INSERT OVERWRITE LOCAL DIRECTORY '/root/dirTmp' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from rencai_test limit 10000; 则创建的目录下已经有了数据: 3.此文件拷贝...
将远程服务器上数据库导入到本地服务器hive上流程
问题:公司对接的第三方公司的数据是存在sqlserver上,需要通过vpn的方式获取数据并存储到hive上。解决步骤如下: 1.通过VPN连接远程服务器,通过数据库账户密码连接远程数据库; 配置vpn参考: https://jingyan.baidu.com/article/3052f5a1c99c0497f31f86ad.html 2.远程数据库为SQLserver,通过ODBC驱动
本地搭建hadoop集群-hive多节点访问(hive2.3.3)
一、思路 1.安装hadoop集群。我这里使用的是自己编译的2.7.6 2.元数据使用mysql作为技术支撑 3.配置hive参数分发至各个节点 4.hive服务端启动 5.各个节点hive客户端访问   二、mysql的安装 rpm -q mysql-server //检查是否安装mysql yum install -y mysql-server //yum安装 servic...
hadoop跨集群之间迁移hive数据
Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/ user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk -skipcrc
CDH开启sentry后如何同步跨集群hive数据迁移
1.        不同集群直接hive迁移 由于集群里设置了dfs.permissions=true  的 因此hdfs上的文件访问须hdfs用户才可以操作 被迁移的集群是hadoop用户,因此先对现有的目录设在acl权限访问/hive ①   新集群操作 导数据之先把另一个集群的hadoop用户授予本集群的hdfs访问权限。 hdfs dfs -setfacl -R -muser:ha...
通过JDBC访问hive集群
hive是大数据结构化的查询工具,之前一直使用cli客户端连接hive集群进行SQL存储过程代码的测试。 JDK版本:1.8 hive版本:0.13 hadoop版本:2.52 集群元数据库MySQL库的版本貌似是5.1,这个其实不影响。 以下为示例代码: package com.java.linkhive;import java.sql.Connection; import java.sql.Dr
hive中查看表分区目录位置的方法
1.用hive语句 describe extended f_gameCenter_user_login_out_day partition(dt = '2014-03-19'); 2.用hive元数据库mysql查询 select a.LOCATION from SDS a left join PARTITIONS b on (a.SD_ID=b.SD_ID) left joi...
查看集群中hive的版本
hive没有提供hive --version这种方式查看版本号,所以要找到hive的jar包所在目录,然后查看jar包的版本号,来确认hive的版本, 或者在进入hive时通过查看加载的hive-common*.jar的版本来确认hive的版本: 或者:
基于CentOS的HBase,Hive,Kylin分布式集群搭建过程
一. HBase环境搭建 1. 编辑/opt/hbase-1.3.1/conf/hbase-env.sh,如下所示: export JAVA_HOME=/usr/local/jdk1.8.0_141 export HBASE_HOME=/opt/hbase-1.3.1 export HBASE_LOG_DIR=/home/ssw/Data/hbase-logs export HBAS...
hadoop跨集群传输数据
在目标集群执行 hadoop distcp -m 100 -pbugp -skipcrccheck -update -delete hftp://namenode:50070/user/dw/d1/* /user/dw/d1/
hadoop集群之间迁移分区表
这里集群的分区表是指的hive/impala表, 表存储格式是parquet. 迁移的时候是指文件的拷贝。下面我做一个案例演示。 如果有大量的表要迁移,可以写一个java程序,多线程控制。 1.查看源集群的表位置 [root@slave01 ~]# hadoop fs -du -h /user/hive/warehouse/prestat.db/dt_differ_users_pre
hive集群间数据迁移,export+import
hive集群间数据迁移,beeline加shell
hive是不是要分布式部署?要不要安装多个?
hive是不是要分布式部署?要不要安装多个? 见 http://www.aboutyun.com/thread-10937-1-1.html 第8问 第8问回答:Hive的安装其实有两部分组成,一个是Server端、一个是客户端,所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上,可以是Namenode上也可以是Datanode的任意一个节点上,至于哪个节点
在Hadoop集群上的Hive配置
环境介绍 系统:Ubuntu14.04 64位 Hadoop版本:hadoop-2.7.2 Hive版本:apache-hive-2.1.0-bin 集群环境: ### 环境介绍 系统:Ubuntu14.04 64位 zookeeper版本:zookeeper-3.4.8 hbase版本:hbase-1.2.2 集群环境: 角色 hostname IP mast
【Hadoop】集群之外的机器如何连接到集群并与HDFS交互,提交作业给Hadoop集群
集群以外的机器如何访问Hadoop集群,并像集群中提交作业和传送数据(1)首先,在机器上安装nutch或者hadoop(2)配置两个文件hadoop-site.xml: fs.default.name hdfs://gc04vm12:9000       mapred.job.tracker gc04vm12:9001  (3)这样便能执行命令,查看集群状态,向集群提交作业(4
在Hadoop分布式集群中安装hive
依赖环境 hadoop分布式集群环境为上一篇中搭建好的集群环境: 一台master主机名:ubuntu-01,两台slave节点,分别是 ubuntu-01-node1、ubuntu-01-node2 与hadoop一样,先在ubuntu-01上安装,然后将文件复制到其他节点中。 安装hive之前先启动集群,三台都要启动 提前下载好文件:apache-hive-2.3.2
hive(01)、基于hadoop集群的数据仓库Hive搭建实践
在前面hadoop的一系列文中,我们对hadoop有了初步的认识和使用,以及可以搭建完整的集群和开发简单的MapReduce项目,下面我们开始学习基于Hadoop的数据仓库Apache Hive,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapReduce任务进行运行的实践,hadoop系列深入学习的文章还会继续。 分享之前我还是要推荐下我自己创建的大数据学习资料分享群 23284
hive 查询表中的数据来源hdfs 位置
1\Hive中查看数据来源文件和具体位置方法 select id, dt ,xxx ,INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE from data_mp_raw.xxxxxx where dt='20161127' and log_type=xxx and hour='18' limit 30;
Hadoop集群之Hive安装配置
Hadoop集群之Hive安装配置转自:Hadoop集群之Hive安装配置Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口来获取用户的指令然后对指令进行分析,解析出一个MapReduce程序组成可执行计划,并按照该计划生成对应的MapReduc
关于Hive在主节点上与不在主节点上搭建的区别之谈
        Hive不在主节点上搭建,我这里是在HadoopSlave1上。    
在不同版本hdfs集群之间转移数据
本文仅供记录一下程序心得: 很多人会有这样一个需求:将一个hdfs集群上的数据写入另一个hdfs集群所在的hbase数据库。通常情况下两个hdfs集群的版本差距并不大,这样的程序会很容易写。但有时会跨大版本。比如作者所在的厂子,数据都在基于hadoop0.19.2版本修改的hdfs集群上,要将这样的数据导入版本为0.20.2+的hdfs集群,就不能使用同一个hadoop jar包来完成了...
hive 跨集群迁移
hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk-skipcrccheck 因
如何查看hive表在hdfs中的位置
在 hive 环境下使用命令: hive> show databases; # 查看所有的数据库 OK app dev hive> use dev; # 选择dev数据库 OK hive> show create table test_table; # 打印创建表的sql语句 sql语句中有一项为 LOCATION,即为此表在 hdfs 中的位置,如: LOCATI...
将本地文本文件上传到HDFS上,然后导入hive/impala对应表中
1.本地文本文件上传前的准备 将文本保存为"uft-8"格式,并用"|"进行字段间的分割(个人习惯,可以选用其它符号,但要避免和编程语言产生冲突)。 2.将文本文件通过Xshell上传到HDFS上 (1)首先要新建(Alt+N)一个连接,主要填写主机IP,其他根据自己的需要填写。确定之后,打开(Alt+O)刚刚建立的连接,输入用户名和密码,这样就连上了你的服务器了。 (2)新建文件传输(C
HA HADOOP集群和HIVE部署
HDFS HA HADOOP集群和Hive部署
hadoop跨集群之间迁移HDFS数据
Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/ -skipcrccheck 因本次迁移...
在spark集群中通过hive访问mysql数据库
除hive客户端外,所有模块都安装于spark集群中的master机器 1.安装spark集群(参考http://blog.csdn.net/ronaldo4511/article/details/52886672) 2.安装 mysql 1) 查看系统当前是否已安装mysql rpm -qa | grep mysqk # 列出和mysql相关的包,本机的结果只有一条 mysql-li
CDH集群间数据迁移
工作中,需要进行不同集群间数据迁移(这里演示CDH5->CDH6),迁移分为2个步骤: 1、库、表shema迁移 2、数据迁移 一、库、表schema迁移 核心思想主要是构建建库、建表语句,传统数据仓库大概都会有stage、ods、dw、dm、default等数据分层体系。 于是考虑使用shell脚本,将所有库及其下的表导出一份,然后再通过sed、awk或编辑软件的猎魔师制作建表语句。 ①、...
跨集群hive批量建表
【需求】 在集群A建表,要同步在集群B建表、修复历史分区。表用到的数据源在云上。 【注意】hive -f时涉及的HDFS操作权限问题 A集群有9个表要同步到B集群 [hive@bigdata-master-1 ~]$ vim tables_ToBeCreated_onOtherCluster # 9个表是: [hive@bigdata-master-1 ~]$ cat tables_To...
集群间文件的拷贝
如果你伪分布式搭建成功,那么恭喜你,你离完全分布式集群的搭建只差一步了(其实你已经会了,因为完全分布式其实也就相当于配置多个伪分布式。只是配置文件可能有一定的区别) 集群间文件的拷贝1.scp(secure copy)安全拷贝1.1定义:1.2基本语法: 1.scp(secure copy)安全拷贝 1.1定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to ser...
Hadoop--HIVE所谓“集群”
Hive安装配置指南(含Hive Metastore详解) 本文介绍Hive安装配置的整个过程,包括MySQL、Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践
hive redis 集群模式udf 写入
前面写了一个单实例模式的redis hset写入udf,使用pipeline提高写入性能,没用连接池,因为有使用限制,就是要按唯一键mod分成许多个组然后collect_list传入一个列表,所以创建的连接很少,保证每个组里面的这个list不会太大,就没啥问题。不然在pipeline上提交的时候应该也要计数一下,每多少条sync一下,偷懒了。。。。 后面正式使用的时候是将这些用户id写入了一个r
集群间 Hive 数据 迁移 问题
1、 从hive中导出数据至本地目录               insert overwrite local directory '/export/tmp' select * from test1 where create_time = '2013-11-25';               列数据之间默认以^A隔开。         2、将本地数据上传另一个集群的hdfs
hadoop集群重启后hive元数据库无法连接
        对于hadoop生成集群来说,可能一年或者两年多年没有重启过都有可能,所以在这种情况下对集群进行重启就会遇到很多未知的危险。        在做hadoop安全认证...
本地IDEA中使用Spark SQL 连接服务器Hive
1. 复制hive-site.xml 将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下 2. 修改入口 Spark 2.x版本将SparkContext和HiveContext整合起来,统一使用SparkSession作为连接入口。所以建立连接需要使用如下代码 val conf = new SparkConf() conf.setAp...
hive无法连接数据库问题
今天在hadoop集群上安装hive,吐槽一下,hive就是
hadoop集群查看路径
管理界面:http://master:8088HDFS 主界面:http://master:50070HDFS 文件界面:http://master:50070/explorer.html#/
如何使用Spark的local模式远程读取Hadoop集群数据
我们在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据,这样的目的是方便快速调试,而不用每写一行代码或者一个方法,一个类文件都需要打包成jar上传到linux上,再扔到正式的集群上进行测试,像功能性验证直接使用local模式来快速调测是非常方便的,当然功能测试之后,我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题,这个在local
大数据集群搭建和使用之五——Hive配置与使用
Hive MySQL配置 卸载先前的MySQL(安全起见) 安装MySQL 下载mysql的repo源,例如5.7.20版本 安装MySQL 测试安装是否成功 更换密码(mysql的要求,否则后续造作不能进行) 使用新密码登录,并刷新远程登录权限 修改mysql的root密码 远程登录 配置hive&mysql 建立相关hadoop文件夹 修改hive-site.xml 修改h...
Spark 连接Hive分布式环境搭建
创建用户   adduser username  chmod u+w /etc/sudoers  vim /etc/sudoers  chmod u-w /etc/sudoers 源码编译mysql 5.5 (安装多个版本的MySQL) 安装cmake 下载地址:http://www.cmake.org/ [plain] view
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java 学习集群 大数据hive学习