kettle 7.1版本,连接hadoop2.7.3版本,无法读取hadoop文件目录
            **1.**shim使用的是跟版本匹配的HDP2.5,

            **2.**连接到hadoop2.7.3也显示连接成功(用户目录访问和根目录访问没有配置)。
            **3.**在hadoop文件输入的时候,无法读取文件列表,(you dont seem to be getting a connection to the hadoop cluster)

            但是,在连接hadoop2.2版本,就可以读取文件目录


            麻烦有空的大家帮忙看一下

1个回答

今天重新尝试连接hadoop2.7.3,使用的shim是CDH510,。同时通过一个博客发现了修改kettle的shim配置文件的操作,在config.properties文件末尾加上authentication.superuser.provider=NO_AUTH 后,hadoop文件__输入正常了。

博客为kettle连接hadoop的教程:https://blog.csdn.net/maenlai0086/article/details/81170761

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
kettle8.2在连接Hadoop时,创建hadoop cluster集群配置,点击测试提示各种出错

![图片说明](https://img-ask.csdn.net/upload/201903/19/1552985585_709567.png) 点击浏览文件目录,会提示这个错误。 ![图片说明](https://img-ask.csdn.net/upload/201903/19/1552985643_789892.png) 有没有大佬遇到过这种问题,我用kettle7.0是可以连接的,8.2就不行。shim文件配置都是正确无误的。

kettle创建数据库资源库无法连接

Kettle版本7.1 Mysql新安装,服务启动. Kettle创建数据库资源库配置连接进行test可以连接成功. 随后使用admin/admin无法登陆.

linux 下kettle执行mysql抽数到oracle的job问题报错

![图片说明](https://img-ask.csdn.net/upload/201811/21/1542797604_216018.jpg) mysql驱动包已放在\data-integration\lib以及jdbc/driver 执行job报错。 驱动版本 5.1.47 kettle版本 7.1

关于Kettle连接elasticsearch进行数据迁移的问题

最近在做数据迁移,有几十亿的数据,想用kettle,但是无论如何不能连接elasticsearch, elasticsearch为5.新版本的,网上说有一个 15版本的插件可以支持5.x,但是我尝试 很多次后依然不能成功,现在急需帮助,如果有测试成功的,恳请分享一下经验,谢谢了

kettle7.1抽取oracle11gR2 提示错误 Io exception: Connection reset

``` 2019/06/11 18:18:19 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : An error occurred, processing will be stopped: 2019/06/11 18:18:19 - 表输入.0 - Error occurred while trying to connect to the database 2019/06/11 18:18:19 - 表输入.0 - 2019/06/11 18:18:19 - 表输入.0 - Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) 2019/06/11 18:18:19 - 表输入.0 - Io exception: Connection reset 2019/06/11 18:18:19 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Error initializing step [表输入] 2019/06/11 18:18:19 - tr_ibs_aitrp101 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Step [表输入.0] failed to initialize! 2019/06/11 18:18:19 - 表输入.0 - Finished reading query, closing connection. 2019/06/11 18:18:19 - 获取会计日.0 - Finished reading query, closing connection. 2019/06/11 18:18:19 - 执行SQL脚本.0 - Finished reading query, closing connection. Unable to prepare and initialize this transformation ``` 服务器centos7.6 ojdbc6.jar 试过spoon.sh添加-Djava.security.egd=file:/dev/./urandom没有生效

kettle连接SAP hana数据库问题

使用的8.2版本的kettle 根据这篇教程 使用的下面这种方式连接到的SAP https://blog.csdn.net/stone0823/article/details/78629096 ![图片说明](https://img-ask.csdn.net/upload/201908/20/1566267602_155113.png) 但是在表输入中执行在查询的时候报错找不到表 相关查询语句在SAP ST04中测试没问题 ![图片说明](https://img-ask.csdn.net/upload/201908/20/1566268424_374366.png) 获取sql查询语句里看到的表 不是日常在SAP系统中se16n中看到的表 ![图片说明](https://img-ask.csdn.net/upload/201908/20/1566268132_981502.png) 请各位大佬指点 是哪里操作有问题 (怎么标签我看别人有kettle选项,我的就没有..)

kettle配置连接mysql数据库已测可以通,但是后续获取字段步骤时就会卡住,也没报错信息

![图片说明](https://img-ask.csdn.net/upload/201910/30/1572402204_219510.png)mysql版本5.7,百度了这个版本的mysql连接OK的。表输入,也可以预览到具体数据。![图片说明](https://img-ask.csdn.net/upload/201910/30/1572402436_13799.png) 预览数据:![图片说明](https://img-ask.csdn.net/upload/201910/30/1572402884_737902.png)

Kettle 7.0 sql密码正确无法连接数据库

如题,7.0用户名密码输入正确,但每次都是提示Error connecting to database: (using class org.gjt.mm.mysql.Driver) Access denied for user 'test'@'%' to database '00.000.00.000' ; 单位用的是VPN,MySQL 利用用户名test+密码是可以登录的,但用kettle就是无法登录,求懂神大人帮忙解答

kettle循环执行job内存溢出

循环分页查询一天的数据,每页1000条,1000个ID拼成串并设置为变量,供后边查询使用,kettle版本7.1,尝试过调大内存,还是不行。也会触发gc,但是经历新生代后进入老年代,直到撑爆堆内存,jdk版本1.8

kettle连接MYSQL数据库问题

![图片说明](https://img-ask.csdn.net/upload/201909/24/1569314912_453856.png)![图片说明](https://img-ask.csdn.net/upload/201909/24/1569314922_599953.png) mysql的驱动放到kettle安装文件中的lib下,连不上一直报错,折腾一下午了 求大佬来看看呀!

如何在kettle中读取dat文件

我这里有一个dat文件,如何利用kettle读取,并用Excel输出?

kettle的配置文件在哪里?

现在所用的kettle里面的配置不着在哪里?现在想修改?但是找不到。求赐教!

kettle连接不上mongoDB

![图片说明](https://img-ask.csdn.net/upload/201607/30/1469859250_326307.png)测试robmongodb可以连上,但是kettle就是连不上。如图![![图片说明](https://img-ask.csdn.net/upload/201607/30/1469858840_375386.png)图片说明](https://img-ask.csdn.net/upload/201607/30/1469858829_565276.png)

kettle的二进制数据读取以及分配

kettle的Java组件读取一个二进制文件,怎么把读取完的二进制数去完整分配到其他新建的列数上 例如 T 分配成 T1 T2 T3 1 1 2 3 2 4 5 6 3 4 5 6

小白请教~kettle测试数据库连接报这个错是什么原因

![对方数据库是cache,jar包jdbc都是合适的,这个错是什么原因呐](https://img-ask.csdn.net/upload/201711/27/1511788156_25186.png)

kettle连接hive2,连接正常,但是获取表信息报错

java.lang.reflect.InvocationTargetException: Problem encountered getting information from the database: org.pentaho.di.core.exception.KettleDatabaseException: Unable to retrieve database information because of an error Unable to get list of procedures from database meta-data: Unable to get list of rows from ResultSet : Error determining value metadata from SQL resultset metadata Method not supported at org.pentaho.di.ui.core.database.dialog.GetDatabaseInfoProgressDialog$1.run(GetDatabaseInfoProgressDialog.java:67) at org.eclipse.jface.operation.ModalContext$ModalContextThread.run(ModalContext.java:113) Caused by: org.pentaho.di.core.exception.KettleDatabaseException: Unable to retrieve database information because of an error Unable to get list of procedures from database meta-data: Unable to get list of rows from ResultSet : Error determining value metadata from SQL resultset metadata Method not supported kettle 版本为5.4, hive版本为1.2.1,hadoop版本为2.7.1

kettle导mysql数据到hdfs报错,Couldn't open file hdfs,请高手看看帮帮忙

本地kettle,插件文件夹中复制了集群的hadoop的几个site配置文件的,集群是正常的,测试kettle从mysql导数据到hdfs就报错:Couldn't open file hdfs . ![图片说明](https://img-ask.csdn.net/upload/202005/12/1589292595_960475.png) “表输入”是正常的,可以预览读取的mysql数据。 “文本文件输出”中在配置hdfs的时候,也能看到hdfs中的文件 ![图片说明](https://img-ask.csdn.net/upload/202005/12/1589292768_920334.png) 用户名、密码是正确的,hostname、端口这些应该也没问题,就是执行就报错 刚才在网上无意中发现了一个配置,在kettle.properties 增加HADOOP_USER_NAME= 访问hdfs的用户名,增加了这个就可以用了 。。。终于解决了这个问题!~

数据仓库基础数据量大,ETL处理速度慢,查询慢,hadoop能否解决问题?如何迁移到hadoop?

1.基础数据主表2亿以上数据 2.基础层到中间层的汇总处理(每天处理),ETL处理比较花时间 某些任务一个小时左右才能处理完 3.SQL已经无法再优化 4.这种情况想到hadoop,不知hadoop是否能解决,如何解决? 5.我以下思路是否可行: 基础数据导入hadoop, ETL处理过程由hadoop处理,处理结果再导回数据库 6.问题hadoop中如何进行多表关联查询或者类似存储过程那样的处理? hadoop我没接触过,请专家帮忙详细解答一下,谢谢!

关于etl工具kettle中双击 spoon.bat

'.\java.exe -version 2>&1:C:\Windows\system32\find/C"64-Bit不是内部程序 双击 spoon.bat,就出现这个窗口,一闪而过,然后就没动静了,到底是什么原因啊 坐等大神 我电脑是win7 64位 操作系统 java环境变量什么的都配好了 急

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

华为初面+综合面试(Java技术面)附上面试题

华为面试整体流程大致分为笔试,性格测试,面试,综合面试,回学校等结果。笔试来说,华为的难度较中等,选择题难度和网易腾讯差不多。最后的代码题,相比下来就简单很多,一共3道题目,前2题很容易就AC,题目已经记不太清楚,不过难度确实不大。最后一题最后提交的代码过了75%的样例,一直没有发现剩下的25%可能存在什么坑。 笔试部分太久远,我就不怎么回忆了。直接将面试。 面试 如果说腾讯的面试是挥金如土...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

win10暴力查看wifi密码

刚才邻居打了个电话说:喂小灰,你家wifi的密码是多少,我怎么连不上了。 我。。。 我也忘了哎,就找到了一个好办法,分享给大家: 第一种情况:已经连接上的wifi,怎么知道密码? 打开:控制面板\网络和 Internet\网络连接 然后右击wifi连接的无线网卡,选择状态 然后像下图一样: 第二种情况:前提是我不知道啊,但是我以前知道密码。 此时可以利用dos命令了 1、利用netsh wlan...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

!大部分程序员只会写3年代码

如果世界上都是这种不思进取的软件公司,那别说大部分程序员只会写 3 年代码,恐怕就没有程序员这种职业。

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

HTTP与HTTPS的区别

面试官问HTTP与HTTPS的区别,我这样回答让他竖起大拇指!

程序员毕业去大公司好还是小公司好?

虽然大公司并不是人人都能进,但我仍建议还未毕业的同学,尽力地通过校招向大公司挤,但凡挤进去,你这一生会容易很多。 大公司哪里好?没能进大公司怎么办?答案都在这里了,记得帮我点赞哦。 目录: 技术氛围 内部晋升与跳槽 啥也没学会,公司倒闭了? 不同的人脉圈,注定会有不同的结果 没能去大厂怎么办? 一、技术氛围 纵观整个程序员技术领域,哪个在行业有所名气的大牛,不是在大厂? 而且众所...

程序员为什么千万不要瞎努力?

本文作者用对比非常鲜明的两个开发团队的故事,讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境,那么即使勤劳努力,不仅会极其耗时而且成果甚微,使用...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

终于懂了TCP和UDP协议区别

终于懂了TCP和UDP协议区别

Python爬虫,高清美图我全都要(彼岸桌面壁纸)

爬取彼岸桌面网站较为简单,用到了requests、lxml、Beautiful Soup4

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

美团面试,问了ThreadLocal原理,这个回答让我通过了

他想都想不到,ThreadLocal我烂熟于心

大牛都会用的IDEA调试技巧!!!

导读 前天面试了一个985高校的实习生,问了他平时用什么开发工具,他想也没想的说IDEA,于是我抛砖引玉的问了一下IDEA的调试用过吧,你说说怎么设置断点...

面试官:你连SSO都不懂,就别来面试了

大厂竟然要考我SSO,卧槽。

立即提问
相关内容推荐