spark开发用的jar包和运行环境的jar包 2C

spark开发使用的jar包和运行环境的jar包是否可以不一致?比如说我开发的时候用的是spark1.6版本的jar包,运行环境是cdh版本的spark1.6

1个回答

大家给解决一下
着急解决啊

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hibernate3运行环境jar包
本人也是初学者,初次建造hibernate开发环境,幸运的是成功了,现在那出来分享下。内有hibernate运行说需的jar包(asm.zip, cglib-2.1_2jboss.jar, dom4j-1.6.1.jar ,hibernate3.jar, jta.jar)
OSGi运行环境依赖的jar包
 开发环境使用eclipse 4.3.2(kelper) 1、最基础的运行环境包 0 ACTIVE org.eclipse.osgi_3.9.1.v20140110-1610 1 ACTIVE org.eclipse.equinox.console_1.0.100.v20130429-0953 2 ACTIVE org.eclipse.equinox.co...
json-lib运行环境所需的jar包
偶这几天一直在倒腾json,以前觉得很简单:定义个xmlhttpRequest这样的组件对象,然后将数据发送给服务器端,然后在客户端接收数据,再做其他的处理。 我想这个入门的在网上找段代码就可以搞定,事情并没有想象那么简单...
开发用的jar包
齐全的各种连接库jdbc连接驱动包,包括oracle、sqlserver等等数据库。
开发用jar包合集
目前包含jar列表如下: ant-1.9.3.jar ant-launcher-1.9.3.jar asm-all-5.0.3.jar bcpg-jdk15on-1.51.jar bcprov-jdk15on-1.51.jar bndlib-2.1.0.jar bsh-2.0b4.jar commons-beanutils-1.7.0.jar commons-cli-1.2.jar commons-codec-1.10.jar commons-codec-1.11-javadoc.jar commons-codec-1.11-sources.jar commons-codec-1.11-test-sources.jar commons-codec-1.11-tests.jar commons-codec-1.11.jar commons-codec-1.4.jar commons-codec-1.6.jar commons-collections-3.2.1.jar commons-collections-3.2.jar commons-httpclient-3.0.1.jar commons-io-1.4.jar commons-io-2.2.jar commons-jexl-2.1.1.jar commons-lang-2.4.jar commons-lang-2.6.jar commons-logging-1.1.1.jar commons-logging-1.1.jar commons-logging-1.2.jar core-3.1.1.jar dom4j-1.6.1.jar ezmorph-1.0.3.jar ezmorph-1.0.4.jar fastjson-1.1.40.jar fluent-hc-4.5.6.jar geronimo-annotation_1.0_spec-1.0.jar gradle-announce-2.3-rc-2.jar gradle-antlr-2.3-rc-2.jar gradle-base-services-2.3-rc-2.jar gradle-base-services-groovy-2.3-rc-2.jar gradle-build-comparison-2.3-rc-2.jar gradle-build-init-2.3-rc-2.jar gradle-cli-2.3-rc-2.jar gradle-code-quality-2.3-rc-2.jar gradle-core-2.3-rc-2.jar gradle-cunit-2.3-rc-2.jar gradle-dependency-management-2.3-rc-2.jar gradle-diagnostics-2.3-rc-2.jar gradle-docs-2.3-rc-2.jar gradle-ear-2.3-rc-2.jar gradle-ide-2.3-rc-2.jar gradle-ide-native-2.3-rc-2.jar gradle-ivy-2.3-rc-2.jar gradle-jacoco-2.3-rc-2.jar gradle-javascript-2.3-rc-2.jar gradle-jetty-2.3-rc-2.jar gradle-language-groovy-2.3-rc-2.jar gradle-language-java-2.3-rc-2.jar gradle-language-jvm-2.3-rc-2.jar gradle-language-native-2.3-rc-2.jar gradle-language-scala-2.3-rc-2.jar gradle-launcher-2.3-rc-2.jar gradle-maven-2.3-rc-2.jar gradle-messaging-2.3-rc-2.jar gradle-model-core-2.3-rc-2.jar gradle-model-groovy-2.3-rc-2.jar gradle-native-2.3-rc-2.jar gradle-open-api-2.3-rc-2.jar gradle-osgi-2.3-rc-2.jar gradle-platform-base-2.3-rc-2.jar gradle-platform-jvm-2.3-rc-2.jar gradle-platform-native-2.3-rc-2.jar gradle-platform-play-2.3-rc-2.jar gradle-plugin-development-2.3-rc-2.jar gradle-plugin-use-2.3-rc-2.jar gradle-plugins-2.3-rc-2.jar gradle-publish-2.3-rc-2.jar gradle-reporting-2.3-rc-2.jar gradle-resources-2.3-rc-2.jar gradle-resources-http-2.3-rc-2.jar gradle-scala-2.3-rc-2.jar gradle-signing-2.3-rc-2.jar gradle-sonar-2.3-rc-2.jar gradle-tooling-api-2.3-rc-2.jar gradle-ui-2.3-rc-2.jar gradle-wrapper-2.3-rc-2.jar groovy-all-2.3.9.jar gson-2.2.4.jar gson-2.3.1.jar guava-jdk5-17.0.jar hamcrest-core-1.3.jar httpclient-4.2.2.jar httpclient-4.5.6.jar httpclient-cache-4.5.6.jar httpclient-win-4.5.6.jar httpcore-4.2.2.jar httpcore-4.4.10.jar httpmime-4.5.6.jar ivy-2.2.0.jar jansi-1.2.1.jar jarjar-1.3.jar jarjar-aether-api-1.13.1.jar jarjar-aether-connector-wagon-1.13.1.jar jarjar-aether-impl-1.13.1.jar jarjar-aether-spi-1.13.1.jar jarjar-aether-util-1.13.1.jar jarjar-maven-aether-provider-3.0.4.jar jarjar-maven-artifact-3.0.4.jar jarjar-maven-compat-3.0.4.jar jarjar-maven-core-3.0.4.jar jarjar-maven-model-3.0.4.jar jarjar-maven-model-builder-3.0.4.jar jarjar-maven-plugin-api-3.0.4.jar jarjar-maven-repository-metadata-3.0.4.jar jarjar-maven-settings-3.0.4.jar jarjar-maven-settings-builder-3.0.4.jar jarjar-plexus-cipher-1.7.jar jarjar-plexus-classworlds-2.4.jar jarjar-plexus-component-annotations-1.5.5.jar jarjar-plexus-container-default-1.5.5.jar jarjar-plexus-interpolation-1.14.jar jarjar-plexus-sec-dispatcher-1.3.jar jarjar-plexus-utils-2.0.6.jar jarjar-wagon-http-2.4.jar jarjar-wagon-http-shared4-2.4.jar jarjar-wagon-provider-api-2.4.jar jatl-0.2.2.jar javax.inject-1.jar jaxen-1.1.jar jcifs-1.3.17.jar jcip-annotations-1.0.jar jcl-over-slf4j-1.7.7.jar jcommander-1.12.jar jdom.jar jetty-6.1.25.jar jetty-annotations-6.1.25.jar jetty-naming-6.1.25.jar jetty-plus-6.1.25.jar jetty-util-6.1.25.jar jna-3.2.7.jar jna-4.4.0.jar jna-platform-4.4.0.jar jsch-0.1.51.jar json-lib-2.2.2-jdk15.jar json-lib-2.4-jdk15.jar jsp-2.1-6.1.14.jar jsp-api-2.1-6.1.14.jar jul-to-slf4j-1.7.7.jar junit-4.11.jar kryo-2.20.jar log4j-over-slf4j-1.7.7.jar logback-classic-1.0.13.jar logback-core-1.0.13.jar maven-ant-tasks-2.1.3.jar minlog-1.2.jar native-platform-0.10.jar native-platform-freebsd-amd64-0.10.jar native-platform-freebsd-i386-0.10.jar native-platform-linux-amd64-0.10.jar native-platform-linux-i386-0.10.jar native-platform-osx-amd64-0.10.jar native-platform-osx-i386-0.10.jar native-platform-windows-amd64-0.10.jar native-platform-windows-i386-0.10.jar nekohtml-1.9.14.jar objenesis-1.2.jar plexus-component-annotations-1.5.2.jar pmaven-common-0.8-20100325.jar pmaven-groovy-0.8-20100325.jar reflectasm-1.07-shaded.jar rhino-1.7R3.jar servlet-api-2.5-20081211.jar simple-4.1.21.jar slf4j-api-1.7.7.jar snakeyaml-1.6.jar sonar-batch-bootstrapper-2.9.jar spring-aop-5.0.6.RELEASE-javadoc.jar spring-aop-5.0.6.RELEASE-sources.jar spring-aop-5.0.6.RELEASE.jar spring-aspects-5.0.6.RELEASE-javadoc.jar spring-aspects-5.0.6.RELEASE-sources.jar spring-aspects-5.0.6.RELEASE.jar spring-beans-5.0.6.RELEASE-javadoc.jar spring-beans-5.0.6.RELEASE-sources.jar spring-beans-5.0.6.RELEASE.jar spring-context-5.0.6.RELEASE-javadoc.jar spring-context-5.0.6.RELEASE-sources.jar spring-context-5.0.6.RELEASE.jar spring-context-indexer-5.0.6.RELEASE-javadoc.jar spring-context-indexer-5.0.6.RELEASE-sources.jar spring-context-indexer-5.0.6.RELEASE.jar spring-context-support-5.0.6.RELEASE-javadoc.jar spring-context-support-5.0.6.RELEASE-sources.jar spring-context-support-5.0.6.RELEASE.jar spring-core-5.0.6.RELEASE-javadoc.jar spring-core-5.0.6.RELEASE-sources.jar spring-core-5.0.6.RELEASE.jar spring-expression-5.0.6.RELEASE-javadoc.jar spring-expression-5.0.6.RELEASE-sources.jar spring-expression-5.0.6.RELEASE.jar spring-instrument-5.0.6.RELEASE-javadoc.jar spring-instrument-5.0.6.RELEASE-sources.jar spring-instrument-5.0.6.RELEASE.jar spring-jcl-5.0.6.RELEASE-javadoc.jar spring-jcl-5.0.6.RELEASE-sources.jar spring-jcl-5.0.6.RELEASE.jar spring-jdbc-5.0.6.RELEASE-javadoc.jar spring-jdbc-5.0.6.RELEASE-sources.jar spring-jdbc-5.0.6.RELEASE.jar spring-jms-5.0.6.RELEASE-javadoc.jar spring-jms-5.0.6.RELEASE-sources.jar spring-jms-5.0.6.RELEASE.jar spring-messaging-5.0.6.RELEASE-javadoc.jar spring-messaging-5.0.6.RELEASE-sources.jar spring-messaging-5.0.6.RELEASE.jar spring-orm-5.0.6.RELEASE-javadoc.jar spring-orm-5.0.6.RELEASE-sources.jar spring-orm-5.0.6.RELEASE.jar spring-oxm-5.0.6.RELEASE-javadoc.jar spring-oxm-5.0.6.RELEASE-sources.jar spring-oxm-5.0.6.RELEASE.jar spring-test-4.0.5.RELEASE.jar spring-test-5.0.0.RELEASE.jar spring-test-5.0.6.RELEASE-javadoc.jar spring-test-5.0.6.RELEASE-sources.jar spring-test-5.0.6.RELEASE.jar spring-test-5.1.3.RELEASE.jar spring-tx-5.0.6.RELEASE-javadoc.jar spring-tx-5.0.6.RELEASE-sources.jar spring-tx-5.0.6.RELEASE.jar spring-web-5.0.6.RELEASE-javadoc.jar spring-web-5.0.6.RELEASE-sources.jar spring-web-5.0.6.RELEASE.jar spring-webflux-5.0.6.RELEASE-javadoc.jar spring-webflux-5.0.6.RELEASE-sources.jar spring-webflux-5.0.6.RELEASE.jar spring-webmvc-5.0.6.RELEASE-javadoc.jar spring-webmvc-5.0.6.RELEASE-sources.jar spring-webmvc-5.0.6.RELEASE.jar spring-websocket-5.0.6.RELEASE-javadoc.jar spring-websocket-5.0.6.RELEASE-sources.jar spring-websocket-5.0.6.RELEASE.jar testng-6.3.1.jar xbean-reflect-3.4.jar xercesImpl-2.9.1.jar xml-apis-1.3.04.jar
achartengine开发用jar包
achartengine开发用jar包,版本achartengine-1.2.0.jar,日期2016-03-06,请需要的同学使用
jar包大全,各种开发用的jar包应有尽有
activation.jar ant-1.6.5.jar ant-antlr-1.6.5.jar spring.jar spring-hibernate3.jar<br>struts-core-1.3.8.jar mysql的jdbc驱动,通过这个,可以将mysql和java连接起来. hibernate的jar包
开发用jar包整理
作者自己用的一些web开发基础jar包整理,有些jar包含有多个版本,希望能帮到大家。
Hibernate开发用的jar包
Hibernate所用的jar包,共11个。 1.antlr-2.7.6.jar ; 2.commons-collections-3.1.jar ; 3.dom4j-1.6.1.jar ; 4.ejb3-persistence.jar ; 5.hibernate3.jar ; 6.hibernate-annotations.jar ; 7.hibernate-commons-annotations-5.0.1.Final.jar ; 8.javassist-3.12.0.GA.jar ; 9.jta-1.1.jar ; 10.slf4j-api-1.6.1.jar ; 11.slf4j-log4j12-1.5.8.jar
struts2的jar包开发用的
是struts2的一些jar包,有用的是java web 的核心框架
webservice-xfire 开发用的JAR包
webservice-xfire
swt开发用的jar包
这个jar包是在windows平台上开发swt所需要的。
jar包 jar包jar包 jar包jar包jar包jar包jar包jar包
jar包 jar包jar包 jar包jar包jar包jar包jar包jar包jar包 jar包jar包 jar包jar包jar包jar包jar包jar包jar包 jar包jar包 jar包jar包jar包jar包jar包jar包
jar包jar包jar包jar包jar包
jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包jar包
Jar包Jar包Jar包Jar包
我下载的一些Jar包,希望有人会用到,找了很久
spark任务运行及jar包
spark的jar包没必要把所有相关的依赖都打进一个jar包中,因为这样会把spark、hadoop本身相关的jar包也打进去,但是这些依赖在用spark-submit命令运行时,会自动加载部署环境中已有的。   /opt/cloudera/parcels/CDH/bin/spark-submit \ --class "cn.icarevision.its007.upgrade.EsInde
spark版本xgboost的jar包
spark版本xgboost的jar包,博客中有scala-spark使用案例
Spark缺少的jar包
Spark缺少的jar包
spark 第三方jar包
./spark-submit –jars $LIBJARS –class test.MyApp –master local myApp.jar在~/.bashrc 加上for i in `ls /path/to/your/third/party/*.jar` do LIBJARS=$i,$LIBJARS done export LIBJARS=$LIBJARShttp://stackoverflo
spark分发jar包性能调优
首先spark有四种运行方式: 本地模式:spark单机运行 Standalone模式:构建一个由Master+Slave构成的Spark集群,Spark运行在集群上 Spark on Yarn 模式: spark直接连接Yarn,不需要额外构建Spark集群 Spark on Mesos模式:spark直接连接Mesos,不需要额外构建Spark集群 Spark程序在运行Yarn上: ...
开发jar包
开发jar
struts2.0开发时用的jar包
开发struts2.0时里面用到的完整jar包。
poi-3.17开发用所有jar包
poi3.8版本所有jar包,支持xls,xlsx导入,及其他word文件的导入
poi-3.8开发用所有jar包
poi3.8版本所有jar包,支持xls,xlsx导入,及其他word文件的导入
JSON用jar包 JSON用jar包
JSON用jar包 JSON用jar包 JSON用jar包 JSON用jar包 JSON用jar包
mybatis开发jar包以及源代码Jar包
mybatis开发jar包以及源代码Jar包
Jar包 Jar包
这个Jar包用于pie chart的生成
openfire + spark 视频通话 war包和jar包
openfire + spark 视频通话 war包放在openfire的plugins下重启openfire jar包spark的plugins目录下即可实现视频聊天功能
spark与scala jar包版本冲突问题
例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常。 例如代码里有下面这样的Map代码, val numbers = Map("one" -> 1, "two" -
运行spark——4.sbt打jar包
sbt 是 scala 的编译工具 安装: curl https://bintray.com/sbt/rpm/rpm &gt; bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt 验证:(会等很长时间) root@hadoop01 ~]# sbt sbt...
第一次在spark环境下运行jar包
第一次在spark环境下运行jar包,耶耶耶!!!心情赞赞哒!!!! 现在开发的工具也主要换成了Intellij,因为方便嘛!!!之前果然不应该用eclipse,简直是强求啊~~Intellij从开发,到打包在spark界都是一把手~~么么哒~~ 打包的部分主要参考了一下博文: http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%
Spark读取mongodb的第三方jar包
Spark读取mongodb数据库集合,需要的第三方jar包,适用于spark2.0以下版本,和spark1.6兼容
减少spark job jar包的大小
利用java写spark job,工程结构为maven,每次生成的jar都比较大。 spark job 包过大带来以下缺点:打包时间长、jar包上传慢、job启动比较慢。 本文介绍jar包瘦身方法: 观察臃肿的jar包,发现大部分都是spark相关的jar比较大,因此打包时去掉即可。 首先,缓存spark-assembly 包到hdfs,方法见本文。 然后, 修改代码工程的pom文件,将spa
Spark:常用JAR包集成(pom.xml)
&lt;properties&gt; &lt;maven.compiler.source&gt;1.8&lt;/maven.compiler.source&gt; &lt;maven.compiler.target&gt;1....
Spark通过Jar包提交任务
Standalone需要通过bin/spark-submit来提交必需参数 --class --master举例如下:/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://master01:7077 ...
jar包2jar包2jar包2jar包2jar包2
jar包2jar包2jar包2jar包2jar包2jar包2jar包2jar包2
jar包1jar包1jar包1jar包1jar包1
jar包1jar包1jar包1jar包1jar包1jar包1jar包1
weka开发需要的jar包
java开发weka过程中可能需要的jar包,内含weka的所有基础包和svm包,亲测有效!!!
开发JAR包-commons
开发JAR包-commons 解压文件得到如下jar包 commons-beanutils-1.8.3.jar commons-codec-1.4.jar commons-collections-3.2.1.jar commons-fileupload-1.2.1.jar commons-httpclient-3.1.jar commons-io-1.4.jar commons-lang-2.4.jar commons-logging-1.1.1.jar commons-net-2.0.jar commons-pool-1.5.6.jar
SSH开发的基本jar包
SSH基本开发所需要的所有jar包,包括日志,整合的测试jar包
相关热词 c# login 居中 c# 考试软件 c# 自然语言分析 c# 分段读取文件 c# 泛型反射 c#打断点 c# 时间转多少秒 c# 线程函数加参数 c# modbus 读取 c#查询集合表