zeppelin连接hive和spark遇到的问题

Question

1.连接hive的时候
zeppelin使用hiveserver2连接hive，由于元数据过多，赶脚zeppelin每次都在遍历元数据，每次执行语句都有1个多小时的延迟

2.连接sparksql报错
java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
at org.apache.spark.sql.hive.HiveUtils$.hiveClientConfig

Answer 1

自己顶下吧，
hive的问题还没有找到答案
spark的问题已经解决了 这个问题主要是spark的客户端没有配置好，重新配置了客户端之后就不再报这个错了
但是后续又遇到了两个问题，一个是 org.apache.spark.SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former. 需要修改修改bin/interpreter.sh 去除 --driver-class-path"${ZEPPELIN_CLASSPATH_OVERRIDES}:${CLASSPATH}"
另个一是 java.lang.RuntimeException: Stream '/jars/jars' was not found.
修改 conf/zeppelin-env.sh export SPARK_SUBMIT_OPTIONS="--jars /home/hadoop/spark-2.0.0-bin-hadoop2.6/jars/mysql-connector-java-5.1.11-bin.jar"