hive：从一台机器上的表数据导入到另一台机器的hive中的某张表（机器不互通）

先在第一台机器执行： 1.创建目录 root/dirTmp 2.导出数据 INSERT OVERWRITE LOCAL DIRECTORY '/root/dirTmp' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from rencai_test limit 10000; 则创建的目录下已经有了数据： 3.此文件拷贝...

将远程服务器上数据库导入到本地服务器hive上流程

问题：公司对接的第三方公司的数据是存在sqlserver上，需要通过vpn的方式获取数据并存储到hive上。解决步骤如下： 1.通过VPN连接远程服务器，通过数据库账户密码连接远程数据库； 配置vpn参考： https://jingyan.baidu.com/article/3052f5a1c99c0497f31f86ad.html 2.远程数据库为SQLserver，通过ODBC驱动

本地搭建hadoop集群-hive多节点访问(hive2.3.3)

一、思路 1.安装hadoop集群。我这里使用的是自己编译的2.7.6 2.元数据使用mysql作为技术支撑 3.配置hive参数分发至各个节点 4.hive服务端启动 5.各个节点hive客户端访问   二、mysql的安装 rpm -q mysql-server //检查是否安装mysql yum install -y mysql-server //yum安装 servic...

hadoop跨集群之间迁移hive数据

Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/ user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk -skipcrc

CDH开启sentry后如何同步跨集群hive数据迁移

1.        不同集群直接hive迁移 由于集群里设置了dfs.permissions=true  的 因此hdfs上的文件访问须hdfs用户才可以操作 被迁移的集群是hadoop用户，因此先对现有的目录设在acl权限访问/hive ①　  新集群操作 导数据之先把另一个集群的hadoop用户授予本集群的hdfs访问权限。 hdfs dfs -setfacl -R -muser:ha...

通过JDBC访问hive集群

hive是大数据结构化的查询工具，之前一直使用cli客户端连接hive集群进行SQL存储过程代码的测试。 JDK版本：1.8 hive版本：0.13 hadoop版本：2.52 集群元数据库MySQL库的版本貌似是5.1，这个其实不影响。 以下为示例代码： package com.java.linkhive;import java.sql.Connection; import java.sql.Dr

hive中查看表分区目录位置的方法

1.用hive语句 describe extended f_gameCenter_user_login_out_day partition(dt = '2014-03-19'); 2.用hive元数据库mysql查询 select a.LOCATION from SDS a left join PARTITIONS b on (a.SD_ID=b.SD_ID) left joi...

查看集群中hive的版本

hive没有提供hive --version这种方式查看版本号，所以要找到hive的jar包所在目录，然后查看jar包的版本号，来确认hive的版本， 或者在进入hive时通过查看加载的hive-common*.jar的版本来确认hive的版本： 或者：

基于CentOS的HBase，Hive，Kylin分布式集群搭建过程

一. HBase环境搭建 1. 编辑/opt/hbase-1.3.1/conf/hbase-env.sh，如下所示： export JAVA_HOME=/usr/local/jdk1.8.0_141 export HBASE_HOME=/opt/hbase-1.3.1 export HBASE_LOG_DIR=/home/ssw/Data/hbase-logs export HBAS...

hadoop跨集群传输数据

在目标集群执行 hadoop distcp -m 100 -pbugp -skipcrccheck -update -delete hftp://namenode:50070/user/dw/d1/* /user/dw/d1/

hadoop集群之间迁移分区表

这里集群的分区表是指的hive/impala表, 表存储格式是parquet. 迁移的时候是指文件的拷贝。下面我做一个案例演示。 如果有大量的表要迁移，可以写一个java程序，多线程控制。 1.查看源集群的表位置 [root@slave01 ~]# hadoop fs -du -h /user/hive/warehouse/prestat.db/dt_differ_users_pre

hive集群间数据迁移，export+import

hive集群间数据迁移，beeline加shell

hive是不是要分布式部署？要不要安装多个？

hive是不是要分布式部署？要不要安装多个？ 见 http://www.aboutyun.com/thread-10937-1-1.html 第8问 第8问回答：Hive的安装其实有两部分组成，一个是Server端、一个是客户端，所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上，可以是Namenode上也可以是Datanode的任意一个节点上，至于哪个节点

在Hadoop集群上的Hive配置

环境介绍 系统：Ubuntu14.04 64位 Hadoop版本：hadoop-2.7.2 Hive版本：apache-hive-2.1.0-bin 集群环境： ### 环境介绍 系统：Ubuntu14.04 64位 zookeeper版本：zookeeper-3.4.8 hbase版本：hbase-1.2.2 集群环境： 角色 hostname IP mast

【Hadoop】集群之外的机器如何连接到集群并与HDFS交互，提交作业给Hadoop集群

集群以外的机器如何访问Hadoop集群，并像集群中提交作业和传送数据(1)首先，在机器上安装nutch或者hadoop(2)配置两个文件hadoop-site.xml： fs.default.name hdfs://gc04vm12:9000       mapred.job.tracker gc04vm12:9001  (3)这样便能执行命令，查看集群状态，向集群提交作业(4

在Hadoop分布式集群中安装hive

依赖环境 hadoop分布式集群环境为上一篇中搭建好的集群环境： 一台master主机名：ubuntu-01，两台slave节点，分别是 ubuntu-01-node1、ubuntu-01-node2 与hadoop一样，先在ubuntu-01上安装，然后将文件复制到其他节点中。 安装hive之前先启动集群，三台都要启动 提前下载好文件：apache-hive-2.3.2

hive(01)、基于hadoop集群的数据仓库Hive搭建实践

在前面hadoop的一系列文中，我们对hadoop有了初步的认识和使用，以及可以搭建完整的集群和开发简单的MapReduce项目，下面我们开始学习基于Hadoop的数据仓库Apache Hive，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapReduce任务进行运行的实践，hadoop系列深入学习的文章还会继续。 分享之前我还是要推荐下我自己创建的大数据学习资料分享群 23284

hive 查询表中的数据来源hdfs 位置

1\Hive中查看数据来源文件和具体位置方法 select id, dt ,xxx ,INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE from data_mp_raw.xxxxxx where dt='20161127' and log_type=xxx and hour='18' limit 30;

Hadoop集群之Hive安装配置

Hadoop集群之Hive安装配置转自：Hadoop集群之Hive安装配置Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduc

关于Hive在主节点上与不在主节点上搭建的区别之谈

 　　   　　Hive不在主节点上搭建，我这里是在HadoopSlave1上。    

在不同版本hdfs集群之间转移数据

本文仅供记录一下程序心得： 很多人会有这样一个需求：将一个hdfs集群上的数据写入另一个hdfs集群所在的hbase数据库。通常情况下两个hdfs集群的版本差距并不大，这样的程序会很容易写。但有时会跨大版本。比如作者所在的厂子，数据都在基于hadoop0.19.2版本修改的hdfs集群上，要将这样的数据导入版本为0.20.2+的hdfs集群，就不能使用同一个hadoop jar包来完成了...

hive 跨集群迁移

hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk-skipcrccheck 因

如何查看hive表在hdfs中的位置

在 hive 环境下使用命令： hive> show databases; # 查看所有的数据库 OK app dev hive> use dev; # 选择dev数据库 OK hive> show create table test_table; # 打印创建表的sql语句 sql语句中有一项为 LOCATION，即为此表在 hdfs 中的位置，如： LOCATI...

将本地文本文件上传到HDFS上，然后导入hive/impala对应表中

1.本地文本文件上传前的准备 将文本保存为"uft-8"格式，并用"|"进行字段间的分割（个人习惯，可以选用其它符号，但要避免和编程语言产生冲突）。 2.将文本文件通过Xshell上传到HDFS上 （1）首先要新建（Alt+N）一个连接，主要填写主机IP，其他根据自己的需要填写。确定之后，打开（Alt+O）刚刚建立的连接，输入用户名和密码，这样就连上了你的服务器了。 （2）新建文件传输（C

HA HADOOP集群和HIVE部署

HDFS HA HADOOP集群和Hive部署

hadoop跨集群之间迁移HDFS数据

Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/ -skipcrccheck 因本次迁移...

在spark集群中通过hive访问mysql数据库

除hive客户端外，所有模块都安装于spark集群中的master机器 1.安装spark集群（参考http://blog.csdn.net/ronaldo4511/article/details/52886672） 2.安装 mysql 1) 查看系统当前是否已安装mysql rpm -qa | grep mysqk # 列出和mysql相关的包，本机的结果只有一条 mysql-li

CDH集群间数据迁移

工作中，需要进行不同集群间数据迁移（这里演示CDH5->CDH6），迁移分为2个步骤： 1、库、表shema迁移 2、数据迁移 一、库、表schema迁移 核心思想主要是构建建库、建表语句，传统数据仓库大概都会有stage、ods、dw、dm、default等数据分层体系。 于是考虑使用shell脚本，将所有库及其下的表导出一份，然后再通过sed、awk或编辑软件的猎魔师制作建表语句。 ①、...

跨集群hive批量建表

【需求】 在集群A建表，要同步在集群B建表、修复历史分区。表用到的数据源在云上。 【注意】hive -f时涉及的HDFS操作权限问题 A集群有9个表要同步到B集群 [hive@bigdata-master-1 ~]$ vim tables_ToBeCreated_onOtherCluster # 9个表是： [hive@bigdata-master-1 ~]$ cat tables_To...

集群间文件的拷贝

如果你伪分布式搭建成功，那么恭喜你，你离完全分布式集群的搭建只差一步了（其实你已经会了，因为完全分布式其实也就相当于配置多个伪分布式。只是配置文件可能有一定的区别） 集群间文件的拷贝1.scp（secure copy）安全拷贝1.1定义:1.2基本语法: 1.scp（secure copy）安全拷贝 1.1定义: scp可以实现服务器与服务器之间的数据拷贝。（from server1 to ser...

Hadoop--HIVE所谓“集群”

Hive安装配置指南（含Hive Metastore详解） 本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践

hive redis 集群模式udf 写入

前面写了一个单实例模式的redis hset写入udf，使用pipeline提高写入性能，没用连接池，因为有使用限制，就是要按唯一键mod分成许多个组然后collect_list传入一个列表，所以创建的连接很少，保证每个组里面的这个list不会太大，就没啥问题。不然在pipeline上提交的时候应该也要计数一下，每多少条sync一下，偷懒了。。。。 后面正式使用的时候是将这些用户id写入了一个r

集群间 Hive 数据 迁移 问题

1、 从hive中导出数据至本地目录               insert overwrite local directory '/export/tmp' select * from test1 where create_time = '2013-11-25';               列数据之间默认以^A隔开。         2、将本地数据上传另一个集群的hdfs

hadoop集群重启后hive元数据库无法连接

        对于hadoop生成集群来说，可能一年或者两年多年没有重启过都有可能，所以在这种情况下对集群进行重启就会遇到很多未知的危险。        在做hadoop安全认证...

本地IDEA中使用Spark SQL 连接服务器Hive

1. 复制hive-site.xml 将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下 2. 修改入口 Spark 2.x版本将SparkContext和HiveContext整合起来，统一使用SparkSession作为连接入口。所以建立连接需要使用如下代码 val conf = new SparkConf() conf.setAp...

hive无法连接数据库问题

今天在hadoop集群上安装hive，吐槽一下，hive就是

hadoop集群查看路径

管理界面：http://master:8088HDFS 主界面：http://master:50070HDFS 文件界面：http://master:50070/explorer.html#/

如何使用Spark的local模式远程读取Hadoop集群数据

我们在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local

大数据集群搭建和使用之五——Hive配置与使用

Hive MySQL配置 卸载先前的MySQL（安全起见） 安装MySQL 下载mysql的repo源，例如5.7.20版本 安装MySQL 测试安装是否成功 更换密码（mysql的要求，否则后续造作不能进行） 使用新密码登录，并刷新远程登录权限 修改mysql的root密码 远程登录 配置hive&mysql 建立相关hadoop文件夹 修改hive-site.xml 修改h...

Spark 连接Hive分布式环境搭建

创建用户   adduser username  chmod u+w /etc/sudoers  vim /etc/sudoers  chmod u-w /etc/sudoers 源码编译mysql 5.5 （安装多个版本的MySQL） 安装cmake 下载地址：http://www.cmake.org/ [plain] view

文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习

相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java 学习集群 大数据hive学习