hive执行插入insert时报错

Question

hive报错，请问需要修改什么配置？
如下图：如何解决
Job Submission failed with exception 'org.apache.hadoop.io.nativeio.NativeIOException(No such file or direc
tory)'FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. No such file or d
irectory

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题描述： 在使用Hive执行MR任务时，出现了Job Submission failed异常，具体提示为No such file or directory。请问需要修改哪些配置？ 解决方案： 该异常通常是由于Hadoop配置有误导致的，我们可以尝试按照以下步骤来解决： 1.检查Hadoop配置文件是否正确：如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件中是否有配置错误或者路径错误等。 2.检查Hadoop集群各组件是否正常启动：可以使用jps命令查看Hadoop的各个进程是否都启动了，如果有进程没有启动，则可以通过启动对应的服务来解决问题。 3.检查Hive配置文件中关于Hadoop的配置项是否正确：可以查看hive-site.xml文件中是否包含正确的Hadoop相关的配置项。 以下是一个示例的Hive配置文件（hive-site.xml）：

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:;databaseName=/path/to/hive/metastore_db;create=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
  <property>
    <name>hive.exec.mode.local.auto</name>
    <value>true</value>
    <description>Automatically switch to local mode if input/output is on local disk</description>
  </property>
  <property>
    <name>hive.mapred.supports.subdirectories</name>
    <value>true</value>
    <description>Set if the execution engine supports subdirectories. E.g. for MR set MR input/output format subclasses to true</description>
  </property>
  <property>
    <name>hive.support.concurrency</name>
    <value>true</value>
    <description>Enable Hive's Table Lock Manager Service</description>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>localhost:2181</value>
    <description>The ZooKeeper quorum to use for Hive's distributed service discovery.</description>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
    <description>The port at which ZooKeeper client communicates  with Zookeeper server</description>
  </property>
  <property>
    <name>hive.zookeeper.namespace</name>
    <value>hiveserver2</value>
    <description>The root namespace for the distributed service discovery keyspace</description>
  </property>
  <property>
    <name>hive.execution.engine</name>
    <value>tez</value>
    <description>The execution engine to use for a Hive query. Values: tez, spark, or mr.  The default is tez.</description>
  </property>
</configuration>

可以注意到，以上配置文件中包含了Hadoop相关的配置项，如hive.metastore.warehouse.dir和hive.execution.engine等。如果这些配置项不正确，也可能会导致Job Submission failed异常。 4.检查Hadoop环境变量是否设置正确：可以使用echo $HADOOP_HOME命令来查看Hadoop环境变量是否设置正确，如果没有设置正确，需要手动设置。 以上是解决Job Submission failed异常的一些常见方法，但是具体原因和解决方法需要根据具体情况而定。如果以上方法不起作用，可以通过查看日志来获取更多的错误信息，有助于更精确地发现问题。 参考代码： 无。