你好杰米 2018-03-12 07:36 采纳率: 87.5%
浏览 2035
已采纳

【hive问题】具体怎么使用load加载本地txt文件到表里面呢

那个公司给的hive连接地址,我在我电脑上用jdbc连接的hive,我目前有一个map中有很多条数据,要往hive里面存,我发现用insert into插500条数据,插了10分钟,好慢啊,我想试一试load批量加载,然后我找到了这个语句

load data local inpath 'wyp.txt' into table wyp;

然后那么问题来了,请问使用这个load,本地文件必须和hive在一个服务器上吗,我用的centos系统,不管我把txt文件放在那里,执行语句都是找不到文件,是因为不在一个服务器上吗

  • 写回答

2条回答 默认 最新

  • plutocracy 2018-03-13 02:28
    关注

    1。hive和传统关系型数据库处理逻辑不同。建议把表结构发来看看。比如表的存储格式,parttion等。
    hive 插入比较慢,估计你的sql写的不好,没有考虑表结构信息。
    2。load data local inpath 'wyp.txt' into table wyp; 这个语句的意思是,把表wyp的数据导出到本地路径,且默认分割符号是\u0001,如果你把local去掉就会把数据落地到hdfs上
    3。本地文件没有找到,估计是你java程序执行主机和wyp.txt 不是同一个server。
    4。建议数据落地到hdfs 上,java程序直接从hdfs上找。
    5。目测楼主不熟悉hive和hadoop,建议阅读基本书。忘采纳。:D。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题