hive目标表小于60M小文件过多，是否会影响yarn任务数据写入时间，使原本可能执行半小时的任务，执行1小时
1条回答 默认 最新
- 2022-06-06 17:18回答 2 已采纳 在window用excel把csv改成\t 分割,建表分割符改成\t
- 2018-01-07 12:34回答 5 已采纳 http://blog.csdn.net/fjssharpsword/article/details/64919412
- 2022-07-26 16:15回答 1 已采纳 不能用row format delimited fields terminated by，改用 ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.
- 2021-12-30 16:51superhanliu的博客 Hive优化之小文件合并_不积跬步无以至千里-CSDN博客_hive合并小文件 解决方案: 1. 在Map输入的时候, 把小文件合并. -- 每个Map最大输入大小，决定合并后的文件数 set mapred.max.split.size=256000000; -- 一...
- 2022-05-19 19:51回答 3 已采纳 你用的beeline方式连接的吧 beeline连接是有限的当连接超出的时候就会出问题 你尝试一下 直接连接hivecli 应该会好一点
- 2022-05-17 01:29回答 3 已采纳 你还没有test_hive1数据库，需要先建库再建表
- 2021-08-02 14:12回答 1 已采纳 有了有了，谢谢大家，是我自己疏忽了。导入HDFS本地文件系统也是需要加local的，我以为本地文件系统是计算机文件系统正确代码:insert overwrite local directory。一定要
- 2022-04-13 08:41将“數倉數據提供與報表流程開發\码表导入\TY”中csv内容导入hive的码表当中。 目标csv：sfc_b_phase.csv 2、将csv文件放到hive对应的服务器上 hadoop服务器：10.176.153.32 1、将sfc_b_phase.csv放在32的root目录下...
- 2022-05-21 17:53回答 1 已采纳 查询最后加上distribute by ORDERDATEsort by ORDERDATE distribute by按照指定的字段将数据划分到不同的输出reduce中，可以保证每个reduce处理
- 2022-02-26 20:05回答 3 已采纳 你好，我是有问必答小助手，非常抱歉，本次您提出的有问必答问题，技术专家团超时未为您做出解答本次提问扣除的有问必答次数，将会以问答VIP体验卡（1次有问必答机会、商城购买实体图书享受95折优惠）的形式为
- 2022-08-02 12:01回答 7 已采纳 不能用拼接，拼接之后用不了in，in是判断左边的字段是否在右边内容(集合)中，拼接的是一个字符串整体，不是集合。 SELECT sku_key,warehouse_key,SUM(quantity)
- 2021-05-18 14:51小强签名设计的博客 文章目录一、小文件定义二、为什么会有小文件1.数据迁移过程中：2.处理源头文件：3.处理过程中产生：三、小文件给Hadoop集群带来的瓶颈问题四、如何解决小文件1.Hadoop中： 一、小文件定义 小文件是指文件大小...
- 2021-06-25 12:55回答 1 已采纳 你切到对应的数据库吗，xshell只是远程工具。
- 2023-09-05 15:14gaog2zh的博客 0401hive入门-hadoop-大数据学习.md
- 2023-03-16 22:58骚戴的博客 大数据技术之Hive
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月6日
赞助了问题酬金1元
9月28日-
创建了问题
9月28日
悬赏问题
- ¥15 c# 使用NPOI快速将datatable数据导入excel中指定sheet，要求快速高效
- ¥15 高德地图点聚合中Marker的位置无法实时更新
- ¥15 DIFY API Endpoint 问题。
- ¥20 sub地址DHCP问题
- ¥15 delta降尺度计算的一些细节，有偿
- ¥15 Arduino红外遥控代码有问题
- ¥15 数值计算离散正交多项式
- ¥30 数值计算均差系数编程
- ¥15 redis-full-check比较 两个集群的数据出错
- ¥15 Matlab编程问题