xixi_258 2022-07-04 21:33
浏览 9
已结题

spark程序整个打包后在其他集群运行

需求:A地公司的集群里有所有的数据,但是需要B地的人做实验分析,但是数据太多了只传小部分数据到B地的集群。B地的员工已写好程序且能在B地的集群跑通。B地员工按A地的集群环境打成jar包在A地运行,但一直报错。求解。或者还有其他办法吗?

A地环境:jdk-1.8,spark-3.0.1,scala-2.12...
B地环境:jdk-1.8,spark-2.4.0,scala-2.11...
输入:json文件
输出:存到hdfs里,csv文件(之前程序是parquet文件,但在hdfs里发现后缀带有.snappy以防万一就不存成parquet格式)

报错信息:class snappy not found(但在程序里没有用上snappy这个class)

尝试:A地没办法打包,只能在B地打包,已经把所有用上了没用上的jar包都打进去了的,还是一样报错。

或者有其他方案能让B地的程序在A地的集群里运行吗?

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 7月12日
    • 创建了问题 7月4日

    悬赏问题

    • ¥15 MYSQL 多表拼接link
    • ¥15 关于某款2.13寸墨水屏的问题
    • ¥15 obsidian的中文层级自动编号
    • ¥15 同一个网口一个电脑连接有网,另一个电脑连接没网
    • ¥15 神经网络模型一直不能上GPU
    • ¥15 pyqt怎么把滑块和输入框相互绑定,求解决!
    • ¥20 wpf datagrid单元闪烁效果失灵
    • ¥15 券商软件上市公司信息获取问题
    • ¥100 ensp启动设备蓝屏,代码clock_watchdog_timeout
    • ¥15 Android studio AVD启动不了