zepelin使用sparkInterpreter 异常

Question

哪位可以看一下 大学学生 在自己虚拟机搭的 都是用的最新版 可以远程

zepelin使用sparkInterpreter 异常

org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:861)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:769)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:186)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:135)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)
Caused by: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:140)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more
Caused by: scala.reflect.internal.FatalError: Error accessing /bigdata/zeppelin-0.11.1/interpreter/spark/._spark-interpreter-0.11.1.jar
    at scala.tools.nsc.classpath.AggregateClassPath.$anonfun$list$3(AggregateClassPath.scala:113)
    at scala.collection.Iterator.foreach(Iterator.scala:943)
    at scala.collection.Iterator.foreach$(Iterator.scala:943)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1431)
    at scala.collection.IterableLike.foreach(IterableLike.scala:74)
    at scala.collection.IterableLike.foreach$(IterableLike.scala:73)
    at scala.collection.AbstractIterable.foreach(Iterable.scala:56)
    at scala.tools.nsc.classpath.AggregateClassPath.list(AggregateClassPath.scala:101)
    at scala.tools.nsc.util.ClassPath.list(ClassPath.scala:36)
    at scala.tools.nsc.util.ClassPath.list$(ClassPath.scala:36)
    at scala.tools.nsc.classpath.AggregateClassPath.list(AggregateClassPath.scala:30)
    at scala.tools.nsc.symtab.SymbolLoaders$PackageLoader.doComplete(SymbolLoaders.scala:298)
    at scala.tools.nsc.symtab.SymbolLoaders$SymbolLoader.complete(SymbolLoaders.scala:250)
    at scala.reflect.internal.Symbols$Symbol.completeInfo(Symbols.scala:1542)
    at scala.reflect.internal.Symbols$Symbol.info(Symbols.scala:1514)
    at scala.reflect.internal.Mirrors$RootsBase.init(Mirrors.scala:258)
    at scala.tools.nsc.Global.rootMirror$lzycompute(Global.scala:74)
    at scala.tools.nsc.Global.rootMirror(Global.scala:72)
    at scala.tools.nsc.Global.rootMirror(Global.scala:44)
    at scala.reflect.internal.Definitions$DefinitionsClass.ObjectClass$lzycompute(Definitions.scala:301)
    at scala.reflect.internal.Definitions$DefinitionsClass.ObjectClass(Definitions.scala:301)
    at scala.reflect.internal.Definitions$DefinitionsClass.init(Definitions.scala:1511)
    at scala.tools.nsc.Global$Run.<init>(Global.scala:1213)
    at scala.tools.nsc.interpreter.IMain._initialize(IMain.scala:124)
    at scala.tools.nsc.interpreter.IMain.initializeSynchronous(IMain.scala:146)
    at org.apache.zeppelin.spark.SparkScala212Interpreter.createSparkILoop(SparkScala212Interpreter.scala:195)
    at org.apache.zeppelin.spark.AbstractSparkScalaInterpreter.open(AbstractSparkScalaInterpreter.java:116)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:124)
    ... 9 more
Caused by: java.io.IOException: Error accessing /bigdata/zeppelin-0.11.1/interpreter/spark/._spark-interpreter-0.11.1.jar
    at scala.reflect.io.FileZipArchive.scala$reflect$io$FileZipArchive$$openZipFile(ZipArchive.scala:190)
    at scala.reflect.io.FileZipArchive.root$lzycompute(ZipArchive.scala:238)
    at scala.reflect.io.FileZipArchive.root(ZipArchive.scala:235)
    at scala.reflect.io.FileZipArchive.allDirs$lzycompute(ZipArchive.scala:272)
    at scala.reflect.io.FileZipArchive.allDirs(ZipArchive.scala:272)
    at scala.tools.nsc.classpath.ZipArchiveFileLookup.findDirEntry(ZipArchiveFileLookup.scala:76)
    at scala.tools.nsc.classpath.ZipArchiveFileLookup.list(ZipArchiveFileLookup.scala:63)
    at scala.tools.nsc.classpath.ZipArchiveFileLookup.list$(ZipArchiveFileLookup.scala:62)
    at scala.tools.nsc.classpath.ZipAndJarClassPathFactory$ZipArchiveClassPath.list(ZipAndJarFileLookupFactory.scala:58)
    at scala.tools.nsc.classpath.AggregateClassPath.$anonfun$list$3(AggregateClassPath.scala:105)
    ... 36 more
Caused by: java.util.zip.ZipException: error in opening zip file
    at java.util.zip.ZipFile.open(Native Method)
    at java.util.zip.ZipFile.<init>(ZipFile.java:231)
    at java.util.zip.ZipFile.<init>(ZipFile.java:156)
    at java.util.zip.ZipFile.<init>(ZipFile.java:170)
    at scala.reflect.io.FileZipArchive.scala$reflect$io$FileZipArchive$$openZipFile(ZipArchive.scala:187)

```

Answer 1

引自免费微信小程序：皆我百晓生

针对您提供的Zeppelin使用SparkInterpreter出现异常的问题，根据您提供的信息，可以判断出主要问题在于SparkInterpreter无法正常打开。具体错误信息为：

scala.reflect.internal.FatalError: Error accessing /bigdata/zeppelin-0.11.1/interpreter/spark/._spark-interpreter-0.11.1.jar
Caused by: java.io.IOException: Error accessing /bigdata/zeppelin-0.11.1/interpreter/spark/._spark-interpreter-0.11.1.jar
Caused by: java.util.zip.ZipException: error in opening zip file

这表明在尝试访问/bigdata/zeppelin-0.11.1/interpreter/spark/._spark-interpreter-0.11.1.jar时出现了问题，系统认为这是一个zip文件，但在尝试打开时遇到了错误。结合您提供的配置信息，以下是可能的解决方案：

1. 检查并清理无效或损坏的JAR文件

根据错误信息，._spark-interpreter-0.11.1.jar可能是一个无效或损坏的JAR文件，或者并非一个真正的JAR文件（可能是由于文件系统、网络传输等过程中产生的临时或隐藏文件）。请执行以下步骤：

a. 登录到您的虚拟机，进入目录 /bigdata/zeppelin-0.11.1/interpreter/spark/。

b. 使用 ls -al 命令查看当前目录下的所有文件，包括隐藏文件。确认是否存在名为 ._spark-interpreter-0.11.1.jar 的文件。

c. 如果存在此文件且确认其非正常Spark Interpreter JAR文件（例如，大小明显偏小、创建时间异常等），可考虑删除它：

rm /bigdata/zeppelin-0.11.1/interpreter/spark/._spark-interpreter-0.11.1.jar

d. 重启Zeppelin服务，检查是否能正常启动SparkInterpreter。

2. 确认Spark Interpreter版本与Zeppelin版本兼容

根据您提供的Spark版本（3.5.1）和Zeppelin版本（0.11.1），可能存在版本兼容性问题。官方Zeppelin仓库中并未发布与Spark 3.5.1直接对应的版本，建议确保使用的Spark版本与Zeppelin版本兼容。可以参考Zeppelin官方文档或社区发布的兼容性列表。

3. 重新部署或更新Spark Interpreter

如果上述步骤无效，或者确认Spark版本与Zeppelin不兼容，可以尝试以下操作：

a. 下载与您Zeppelin版本兼容的Spark发行版，或者升级Zeppelin至支持Spark 3.5.1的版本。

b. 根据新的Spark版本，重新配置Zeppelin中的Spark Interpreter设置，确保SPARKHOME指向正确的Spark安装目录，并更新其他相关属性（如spark.master、spark.submit.deployMode等）。

c. 重启Zeppelin服务，检查Spark Interpreter是否能正常工作。

4. 检查环境变量与权限问题

确保运行Zeppelin的用户有足够的权限访问Spark安装目录及其子目录。如果存在权限问题，可以适当调整文件夹权限或使用sudo运行Zeppelin服务。

总结：

解决此问题的关键在于排查并处理引起._spark-interpreter-0.11.1.jar文件访问异常的原因，可能涉及删除无效文件、确认Spark与Zeppelin版本兼容性、重新部署或更新Spark Interpreter以及检查环境变量与权限问题。按照上述步骤逐一排查并采取相应措施后，应能解决SparkInterpreter在Zeppelin中无法正常打开的问题。