Yoga_L1n
Yoga_L1n
2017-11-07 09:17

关于spark 的执行有问题求教。

2
  • hive
  • spark
  • 大数据

前话有点多。。现有一java项目涉及到了hive部分功能,但是由于hive的查询速度很慢,想把底层hive部分的代码替换为spark,了解到CDH5可以直接将hive引擎更换为spark,更换后想测试一下速度差异,但是在hive命令行输入完sql总是会卡住一段时间,找不到原因,然后就尝试用sparksql代码尝试操作hive,因为刚接触spark,在用代码操作hive的过程中也经历很多错误,现在终于能用javaspark连到我集群的hive了,我看网上spark大多都是以jar包的形式提交到服务器执行,而我只是想把spark的部分穿插进java项目里像java代码一样调用,这样可以吗?跟jar包的形式执行有什么差异吗 另外求一些spark hive 的经验。。。。

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

3条回答

为你推荐