zeppelin连接hive和spark遇到的问题

1.连接hive的时候
zeppelin使用hiveserver2连接hive,由于元数据过多,赶脚zeppelin每次都在遍历元数据,每次执行语句都有1个多小时的延迟

2.连接sparksql报错
java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
at org.apache.spark.sql.hive.HiveUtils$.hiveClientConfig

1个回答

自己顶下吧,
hive的问题还没有找到答案
spark的问题已经解决了 这个问题主要是spark的客户端没有配置好,重新配置了客户端之后就不再报这个错了
但是后续又遇到了两个问题,一个是 org.apache.spark.SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former. 需要修改修改bin/interpreter.sh 去除 --driver-class-path"${ZEPPELIN_CLASSPATH_OVERRIDES}:${CLASSPATH}"
另个一是 java.lang.RuntimeException: Stream '/jars/jars' was not found.
修改 conf/zeppelin-env.sh export SPARK_SUBMIT_OPTIONS="--jars /home/hadoop/spark-2.0.0-bin-hadoop2.6/jars/mysql-connector-java-5.1.11-bin.jar"

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Spark操作hive遇到的问题
Spark操作hive报错如下 Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found.     at org.apache.spark.sql.Sp
zeppelin配置hive解释器
CDH安装配置zeppelin-0.8.0 1.下载zeppelin 下载网站:http://zeppelin.apache.org/download.html 2.解压并修改配置文件 解压文件 tar -zxvf zeppelin-0.8.0-bin-all.tgz cd /opt/zeppelin-0.8.0-bin-all /conf cp zeppelin-env.sh.templa...
hive分区-连接spark
有分区可以变快,便于查找。1.创建表分区、分桶CREATE TABLE par_table(viewTime INT, userid BIGINT,     page_url STRING, referrer_url STRING,     ip STRING COMMENT 'IP Address of the User')#注释 COMMENT 'This is the page view t...
Zeppelin组件配置和使用:连接Spark
Spark的核心分析栈包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX等,面向批处理、流处理、图计算、机器学习等场景,实现了生态融合统一,基于相同的数据结构,可实现不同类型的计算任务。 Zeppelin针对spark提供了强大的语言解释器,常见的解释器包括: %spark 运行scala代码,发送至Spark Core引擎执行 %sql ...
当 Spark 遇上 Zeppelin
Zeppelin 是一个基于 Web 的交互式数据分析工具,里面有很多解释器,透过这些解释器便可以利用相应的引擎完成数据计算与分析,Spark 便是其中一种。实际工作中,通常会在两种情况下使用 Spa
数据分析:关于zeppelin与spark
这两天遇到了一些坑  关于zeppelin的使用 需求代码写好,跑的时候一个需求跑了3h , 当时就想找原因。后来想了想是不是我的SQL遇到了数据倾斜,果然我看到了我的SQL使用了 distinct count group by 还有字段为空的列 。 然后我进行了优化 :采取了map join 的方式。不过这map join 逻辑还挺复杂的。贴个例子 ,如果有错误请指正:   val rese...
spark 连接 kafka 遇到的问题
java.lang.NoClassDefFoundError: kafka/api/TopicMetadataRequest at org.apache.spark.streaming.kafka.KafkaCluster.getPartitionMetadata(KafkaCluster.scala:130) at org.apache.spark.streami...
部署zeppelin时遇到的spark on yarn的submit方式问题
部署zeppelin时候遇到的一个跟spark submit application模式相关的问题
Spark整合Hive过程及遇到的问题
Spark整合Hive过程及遇到的问题 一、前置步骤 安装MySQL,创建用户(当然也可以直接用root用户)并授权 CREATE USER 'bigdata'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'bigdata'@'%' IDENTIFIED BY '123568' WITH GRANT OP...
spark SQL学习(spark连接hive)
spark 读取hive中的数据 scala> import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql.hive.HiveContext scala> val hiveContext = new HiveContext(sc) //hive中的feigu数据库中表stud_info scala> va
Hive平台部署之Zeppelin的安装部署
<p>n 随着大数据技术的不断发展壮大, Hive不再是大数据技术生态圈中一个普通的工具,而是在大数据分析和大数据仓库中占据着几乎不可替代的重要作用,大数据分析中Hive和Hbase、Hive和Spark SQL、Hive和Impala的结合使用愈加紧密,大数据仓库中Hive在数据仓库建模模块的作用暂时无可替代。所以,深入学好Hive是入门大数据分析、大数据仓库最好的选择。n</p>n<div>n <br /></div>
spark连接hive的两种方式
在pom中添加依赖 &amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt; &amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot; xsi:schemaLocatio...
Spark 连接Hive 表格失败
spark 连接hive 在Windows本地跑不动,报错如下。 只需要把jar 运行的jar 包打包,放到linux 上即可。 2018-06-11 08:56:50,734 : WARN : Hive : &amp;lt;clinit&amp;gt; : Failed to access metastore. This class should not accessed in runtime. org....
zeppelin 安装使用,测试spark,spark sql
最近研究学习,发现一个新的大杀器 zeppelin
zeppelin 连接mysql 数据库
zeppelin 连接mysql 数据库 官方文档 https://zeppelin.apache.org/docs/0.7.3/interpreter/jdbc.html#create-a-new-jdbc-interpreter https://zeppelin.apache.org/docs/0.7.3/interpreter/jdbc.html#mysql 按照官方文档的方法配
zeppelin安装-- Spark交互式平台
1. 安装scala-安装spark附镜像地址http://www-eu.apache.org/dist/tar -zxvf scala-2.11.0.tgz -C ~/software/ vi ~/.bashrc export SCALA_HOME=/home/jarvanl/software/scala-2.11.0 export PATH=$PATH:$SCALA_HOME/bin expor
hive on spark的安装及问题
配置hive hive-site hive.metastore.uris thrift://database:9083 hive.metastore.client.socket.timeout 600s--> 600 把hive-site.xml 放到spark/conf目录下 Mysql驱动放到spark/
Zeppelin安装成功后,安装Hive之后启动Zeppelin异常
Zeppelin安装参见:http://blog.csdn.net/dax1n/article/details/57079534 异常信如下:  WARN [2017-03-01 19:27:25,416] ({pool-2-thread-2} Hive.java[]:168) - Failed to access metastore. This class should not ac
HANA通过unixODBC连接HIVE及遇到的问题
1,首先安装unixODBC.前文已经安装过,不做赘述. 2,使用https://www.cloudera.com/downloads/connectors/hive/odbc/2-5-24.html下载hiveodbc驱动ClouderaHiveODBC-2.5.24.1017-1.suse12.x86_64.rpm,我这个是适合suse12 64位的版本,可以选择适合自己系统的版本. 3,...
hive使用beeline连接遇到的问题
hiveserver2未启动 如果hiveserver2未启动就直接使用beeline连接,会出现如下错误: Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000/default: java.net.ConnectException: Connection refused (Connectio...
Spark-sql 连接hive中遇到的问题
在使用spark-sql的时候发现,可以连接上hive并可以使用show tables的语句查询到表,但是后来尝试发现没法做其他更多的操作, 通过log信息发现,是metadata无法连接的问题,联想到前天在配置spark连接hive的时候见过一个启动metadata的命令 ./hive --service metadata & 于是猜想是因为没有把这个服务给启动,于是spark-sql虽
使用java连接hive过程中遇到的问题
http://blog.csdn.net/lanchunhui/article/details/50864137
Zeppelin 搭建遇到的若干坑
最近搭建zeppelin,单独起了一台spark-thriftserver,进行hive库的查询。遇到了N多坑,这边记录一下几个主要的地方。 当然,有zeppelin相关的疑问也欢迎在文末评论! 1、无法启动   有好多种可能,详细可以查看/logs中得日志。 可能是没有创建Log/Pid目录。 可能是没有正确安装JDK,或者版本不对。 确认JDK和系统版本:(我用的zeppel...
zeppelin on yarn 搭建遇到的问题总结
搭建zeppelin还是非常坎坷的,从最开始git clone源码下来打包,就会等上半天,弹个包下不来之类的报错。。 可以说是很扎心了,,切入正题: 1、spark 2.0及以上的版本,配置yarn的时候,需要的配置: 2、配置interpreter的时候,依赖的添加 如spark 需要添加你的机器hadoop版本: hive则需要加上hado...
[Zeppelin]Zeppelin安装与初体验
1.安装1.1 下载点击进入下载页面备注下载页面会提供两种二进制包:zeppelin-0.7.1-bin-netinst.tgz 默认只会提供Spark的Interpreterzeppelin-0.7.1-bin-all.tgz 会提供各种各样的Interpreter(MySQL,ElasticSearch等等)所以说要根据你的使用场景具体选择哪种二进制包.1.2 解压缩xiaosi@yoona:
利用Zeppelin来操作Hive数据仓库。
zeppelin的操作流程: 首先添加hive的interpreter 相关的配置信息如下所示: 另外还要添加相关的依赖:   hive的操作方式  利用hiveserver2来操作 首先要启动元数据服务 cd hive cd  bin ./hive --service metastore &amp;amp;  //后台启动 ./hive --service hiveserve...
本地spark连接远程hive报错
Spark远程连接hive报异常 bin/hive --service metastore &amp;. 没有启动这个服务
spark连接hive(spark-shell和eclipse两种方式)
转载请务必注明原创地址为:http://dongkelun.com/2018/03/25/sparkHive/ 1、在服务器(虚拟机)spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoo...
阿里云解决spark连接hive异常
解决版本去掉w7上 hadoop\hadoop.dll 和C:\Windows\System32\hadoop.dll Exception in thread &quot;main&quot; java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':     ...
Hive编程指南-Spark操作Hive
摘要:本文将要说明如何使用Spark来对Hive进行操作
Spark 连接Hive的Cloudera相关配置
在使用Cloudera安装好Spark和Hive后,将含有操作Hive相关表的Spark任务以yarn模式提交到集群运行时,一直报错,通过yarn logs -applicationId 命令发现无法连接Hive,在spark-submit命令后添加--files /etc/hive/conf/hive-site.xml就可以正常运行。参考了Cloudera官网的相关介绍(https://www....
hive启动过程遇到的问题
在初始化matastore的过程中报错 Starting metastore schema initialization to 2.0.0 Initialization script hive-schema-2.0.0.derby.sql Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000
hive启动时遇到的问题
今天只是说一个问题,在hive启动的时候必须先启动hadoop的dfs和yarn的服务,否则会报错Exception in thread &quot;main&quot; java.lang.RuntimeException: java.net.ConnectException: Call From wmxpc1/192.168.146.135 to wmxpc1:9000 failed on connection ...
[Hive]hive遇到的方法
最近在做数据分析 get_json_object 可以获取日志中两层json数据 具体用法参考以下博客。点击打开链接 https://blog.csdn.net/qq_31573519/article/details/55104822   Hive 之Table、External Table、Partition(五) 点击链接 https://blog.csdn.net/u013850...
hive 遇到的两个问题
其一,启动hive时报错如下:Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path原因:hive下的conf文件夹下的 hive-env.sh中HADOOP路径出现问题。解决方法:进入 hive下的conf文件夹,复制hive-env.sh....
hive使用遇到的问题
1、HQL子查询别名问题      HQL的书写,select * from (select * from table) ;      执行此HQL,应该会报错:ql.Driver (SessionState.java:printError(960)) - FAILED: ParseException line 48:52 cannot recognize input near '' '' '
Hive安装过程遇到的问题
问题:$ hiveLogging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExc
Hive安装及遇到的问题
首先明白hive只在一个节点上安装就可以 然后安装hive必须在安装有hadoop的基础上才可以运行 准备工作: 1)hive安装包下载apache-hive-1.2.1-bin.tar.gz 2)mysql安装包下载MySQL-server-5.5.51-1.linux2.6.i386.rpm(服务端),MySQL-client-5.5.51-1.linux2.6.i386.rpm(客户
hive安装遇到的问题
参考:http://www.iteye.com/problems/49859 关于安装hive,启动hive后产生此问题: [hadoop@master conf]$ hive Hive history file=/tmp/hadoop/hive_job_log_hadoop_201602221512_1847642902.txt hive> show tables; Exception
hive可能遇到的问题
http://blog.csdn.net/xuejingfu1/article/details/52442920
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数