Doctor_me 2019-10-12 14:48 采纳率: 0%
浏览 747

Springboot框架整合了Hive,怎么实现计算任务?

1.说明

    新手自行摸索搞大数据。(大前提!!!MapReduce都没懂的那种!)
    虚拟机上启动了hadoop,yarn,hive。csv数据在虚拟机文件系统有存储,在hdfs也有存储。这个数据开头有三行是表头说明等信息,在放入hive中时已经跳过这三行了。
    在eclipse中创建了springboot项目,整合了hive但没整合hadoop。能够实现通过接口的形式进行hive查询了。

2.目的

    现在想在springboot中实现算法,已经从hive中取到数据。怎么将数据和算法计算提交到MapReduce中进行计算?(连接hadoop先跳过,这个并不是重点,理清了过程后在正式搞之前肯定会加上的。)

    还是说从hive取到数据之后直接在springboot项目中计算就可以了,不需要使用MapReduce?(数据量肯定是够多够大!)要是需要MapReduce计算的话,怎么将hive数据带进去,或从虚拟机中的文件、hdfs中的文件读取数据(有没有跳过前三行的方式)?MapReduce的计算结果是只能存在文件中吗,能否通过某种方式在计算完成后自动在springboot中接收结果然后存在mysql中?

    敬请大佬做个介绍,现在思路都是死路,不知道怎么实现很难受……或者给点文章说明啥的。感激不尽!!
  • 写回答

1条回答 默认 最新

  • dabocaiqq 2019-10-12 22:02
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 深度学习根据CNN网络模型,搭建BP模型并训练MNIST数据集
  • ¥15 lammps拉伸应力应变曲线分析
  • ¥15 C++ 头文件/宏冲突问题解决
  • ¥15 用comsol模拟大气湍流通过底部加热(温度不同)的腔体
  • ¥50 安卓adb backup备份子用户应用数据失败
  • ¥20 有人能用聚类分析帮我分析一下文本内容嘛
  • ¥15 请问Lammps做复合材料拉伸模拟,应力应变曲线问题
  • ¥30 python代码,帮调试,帮帮忙吧
  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建