m0_68492765 2022-06-23 15:52 采纳率: 0%
浏览 23
已结题

hive UDTF函数

问题遇到的现象和发生背景

在创建hive UDTF函数报错,Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask

问题相关代码,请勿粘贴截图

create function explode_json_array as 'com.boboli.ExplodeJsonArray' using jar 'hdfs://hadoop102:9870/user/hive/jars/hiveUDTF-1.0-SNAPSHOT.jar';

运行结果及报错内容

Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "hadoop102/192.168.18.102"; destination host is: "hadoop102":9870;
Failed to register default.explode_json_array using class com.boboli.ExplodeJsonArray
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask

我的解答思路和尝试过的方法

按照网上修改yarn-site.xml的设置,如下

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>10000</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>
<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx1024m</value>
</property>
我想要达到的结果

能够顺利得到udtf函数表达

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 7月1日
    • 创建了问题 6月23日

    悬赏问题

    • ¥30 STM32 INMP441无法读取数据
    • ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
    • ¥15 用visualstudio2022创建vue项目后无法启动
    • ¥15 x趋于0时tanx-sinx极限可以拆开算吗
    • ¥500 把面具戴到人脸上,请大家贡献智慧
    • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。
    • ¥15 各位 帮我看看如何写代码,打出来的图形要和如下图呈现的一样,急
    • ¥30 c#打开word开启修订并实时显示批注
    • ¥15 如何解决ldsc的这条报错/index error
    • ¥15 VS2022+WDK驱动开发环境