最近学习用Nifi来进行数据抽取,遇到一个问题,目前不知如何解决
数据库是本地测试的,所以目标库和源库都是一个库。数据表也是测试数据
Nifi设置如下
最近学习用Nifi来进行数据抽取,遇到一个问题,目前不知如何解决
数据库是本地测试的,所以目标库和源库都是一个库。数据表也是测试数据
Nifi设置如下
不理解NIFI是做什么的,看一个简单的例子(同步文件夹)吧,帮助理解。
1、从工具栏中拖入一个Processor,在弹出面板中搜索GetFIle,然后确认。
2、配置GetFile,设置结束关系、输入目录、保留源文件,其他设置可以不动,输入目录中有文件:file.txt(内容为abc)。
3、从工具栏中拖入一个Processor,在弹出面板中搜索PutFIle,然后确认,如第一步。
4、配置PutFile,设置结束关系、输出目录,其他设置可以不动,输出目录为空文件夹。
5、将GetFIle与PutFIle关联起来,从GetFIle中心点击,拖拉到PutFIle上。
6、右键启动GetFIle与PutFIle,可以看到结果,输入目录中的文件同步到,输出目录中了。
注意:操作过程中,注意错误排查
1、Processor上的警告
2、Processor上的错误
我不知道你遇到的具体问题是什么,需要更多的信息才能提供帮助。但是,我可以给出以下解决方案:
确认本地测试数据库的连接和权限是否正确,可以通过在命令行中直接对数据库进行查询来进行测试。
确认Nifi配置的Get和Put Processor的输入和输出目录是否正确,并且在输入目录中确实有需要抽取的数据表或数据文件。
如果你需要使用自己开发的Processor组件,可以按照段落1中的步骤进行开发和安装。
确认NiFi安装过程中是否遇到了任何问题,比如Java安装和环境变量设置等。可以参考段落2中的安装步骤进行确认和修改。
如果你想使用Java代码进行文件复制,可以参考段落3提供的代码示例。要注意的是,Nifi本身已经提供了一些常用的Processor组件,例如GetFile、PutFile、ExecuteSQL等,可以在工具栏中直接拖入使用,无需进行额外的Java编程。