入行大数据两年了，虽然在公司担任大数据开发，无奈公司规模小，没有接触过真正的“大”数据。
面试遇到过这么个问题：有一条Hive SQL，执行了一个半小时，太慢，不符合要求，你该怎么办？
我回答了一些hive 参数调优，包括小文件合并、数据倾斜等参数。我还没回答完，面试官就打断了我，问你如何定位到问题原因？我说可以在UI界面查看是否发生数据倾斜。面试官接着说，好，现在知道发生数据倾斜了，你如何定位到是哪个地方发生了数据倾斜？我......。面试官看我窘迫，接着说，假设不是数据倾斜，你接下来怎么办？我......
针对这个问题，有没有什么思考模式或者方法论？
一条Hive SQL作业执行慢，该怎么办？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
关注解决 无用评论 打赏举报 分享
- 2021-10-11 20:14回答 1 已采纳 可以通过开窗函数sum() over (partition by xxx order by xxx )来实现，具体使用方法可以网上查下，有很多资料
- 2022-01-15 13:24回答 2 已采纳 右边的6个列每2个列一组，加一个静态的职位字段，一共三个列，用union all拼接起来，再用字符串聚合把职位拼起来。这个方法应该是可用的。至于用lateral view explode进行行列转换的
- 2022-05-03 00:42回答 2 已采纳 首先两张表关联起来，然后计算Lenovo订单数量，再除以总数量就可以了 select (select count(1) from orders o join items i on o.item_id
- 2021-01-13 22:47简 Ai的博客 1.show create table tb_cdr; +-------------------------------------------------------+--+ | createtab_stmt | +-------------------------------------------------------+--+ | CREATE TABLE `...向表中插入一...
- 2021-09-13 09:34回答 1 已采纳 第二种写法省略了=，但是里面必须是一个值，不能写表达式第一种写法相当于高级语言里的if,then,else第二种写法相当于switch,case你不能在case里面再写大于小于，只能写一些固定的值-=
- 2022-06-14 09:52回答 1 已采纳 select date_sub('2022-06-02',7) select date_sub(concat_ws('-','2022','6','2'),7) select day(date_sub
- 2022-08-26 18:24回答 2 已采纳 这2个题目都需要用到了hive的正则表达式和数组展开功能 第一个sql 用split把字符串展开成数组用lateral view explode把数组展开成多行regexp_extract 从字符串中
- 2024-06-16 20:15程序员面试笔记的博客 核心思路：将能合并的数据分组，而分组的关键是找到分组的起点（在这里是起始时间），之后判断当前数据是否要和上一条数据合并。– 当前数据：判断是否为新的起点，如果时间上有断点，那就是新的起点，否则不需要。...
- 2022-01-15 15:13回答 2 已采纳 hive有个函数Lag，取前n条，你可以指定取前一条，然后判断，如果本身是null或空，就取lag的前一条，否则就用本身。当然这个函数有个条件，是你得指定至少一个排序字段，否则无法判断哪个是上一条
- 2022-04-06 17:10回答 1 已采纳 一天之内，同一个用户访问同一个绘本的同一页，是有可能出现多条记录的，而单行的退出时间减进入时间只表示单次的记录，考虑到你最终结果里存在"观看次数"这个字段，这个字段肯定是要count的，因此多行的观看
- 2022-04-27 18:15回答 3 已采纳 select t1.xno as 产品编码, t1.name as 项目名称, sum(Case when t2.plevel="A" then 1 else
- 2021-10-25 08:00小晨说数据的博客 引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sp...
- 2022-04-24 14:53回答 2 已采纳 这样好像不行，你可以换一种思路。 写linux脚本，定时提交作业 Linux Crontab 定时任务 麻烦采纳一下，你的采纳，是对我最好的鼓励，谢谢！
- 2022-07-22 20:53holomain的博客 beeline -e 执行多行sql 语法
- 2021-10-19 09:00过往记忆的博客 引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sp...
- 没有解决我的问题, 去提问
悬赏问题
- ¥30 arduino vector defined in discarded section `.text' of wiring.c.o (symbol from plugin)
- ¥20 关于#c++#的问题：(2）运算二叉树·表达式一般由一个运算符和两个操作数组成：（相关搜索：二叉树遍历）
- ¥20 如何训练大模型在复杂因素组成的系统中求得最优解
- ¥15 关于#r语言#的问题：在进行倾向性评分匹配时，使用“match it"包提示”错误于eval(family$initialize): y值必需满足0 <= y <= 1“请问在进行PSM时
- ¥45 求17位带符号原码乘法器verilog代码
- ¥20 PySide6扩展QLable实现Word一样的图片裁剪框
- ¥15 matlab数据降噪处理，提高数据的可信度，确保峰值信号的不损失？
- ¥15 怎么看我在bios每次修改的日志
- ¥15 python+mysql图书管理系统
- ¥15 Questasim Error: (vcom-13)