请问kettle如何做两个数据对比呢(标签-SQL|关键词-KETTLE)

Question

需求：
需要使用kettle来做一个job，A表是SQL SERVER，B表是MYSQL，两个表的结构一样，有一个字段TIME，查询两个表的TIME值，然后进行判断是否值相同，值相同就执行步骤1，值不通就执行步骤2。
想了好久没思路，想用SWITCH做分流，但是kettle好像没有对比判断的组件。
求指教！

Answer 1

引自免费微信小程序：皆我百晓生

Pentaho Data Integration（通常被称为Kettle）确实有一个数据流中的分流组件可以实现这种比较功能的需求。关于你的问题，我建议采用以下的解决方案来实现这个需求：

1. 使用Table Input步骤分别连接SQL Server和MySQL数据源并获取对应的表数据（表A和表B）。这将会是两个不同的数据流，因为你需要从两个不同的数据源读取数据。你需要为每一个数据源设置不同的数据库连接步骤。

2. 使用Merge Join步骤来合并这两个数据流，以TIME字段作为连接键。这将会生成一个新的数据流，其中包含两个输入的数据行的组合结果。这里假设TIME字段在两个数据库中的数据类型是一致的。如果你的时间戳可能存在微妙的差异（例如由于时区不同），可能需要做一些额外的转换工作来保证数据能正确地被比较。注意这要求数据字段应该是相似且足够相同以便于合并（即匹配的键值）。

3. 使用Filter步骤来分流数据。你可以使用比较函数来比较两个数据流中的TIME字段值是否相同。这将产生一个输出流用于执行步骤1（如果TIME值相同），另一个输出流用于执行步骤2（如果TIME值不同）。如果你选择Filter步骤作为一个分离动作而不是执行每个独立动作的两边（正如一个SQL的CASE语句可能期待的那样），它将通过一个检查来引导数据流通过不同的路径。例如，你可以设置条件为：如果TIME字段在两边的数据流中相同，则执行步骤1；否则执行步骤2。在你的过滤器步骤里进行此逻辑设置，具体为创建一个新的比较逻辑判断函数来完成此操作。然后基于这个条件，将流分为两个路径。在路径上分别执行步骤1和步骤2。你可以通过创建两个独立的路径来实现这一点，每个路径都有自己的一系列步骤。每个路径可以包含你需要在每种情况下执行的任务，如SQL更新操作或删除等自定义脚本。这里需要根据实际情况创建独立的“用户定义Java类”或脚本步骤来执行特定的业务逻辑。最后通过Kettle的Job或Transformation来完成整个流程的设计和执行。具体实现细节如下：首先创建一个Transformation，然后添加以下步骤：表输入（用于从两个数据库获取数据）、合并连接（用于合并数据）、过滤器（用于根据条件进行分流）、用户定义的Java类或脚本（用于执行具体的业务逻辑）。然后设计对应的Job，在这个Job中包含以上述的Transformation和定义在步骤1和步骤2中所需要的动作或自定义处理流程（包括触发条件等）。这样，当Job运行时，它会按照你的需求自动完成数据的比对和后续处理任务。至于具体的代码实现，你需要根据你的业务逻辑进行编写，例如：在Java类中编写代码来判断两个数据库中的时间戳是否相同，并据此执行不同的操作等。注意处理任何可能的异常和错误情况以确保系统的健壮性。希望这个解答能帮助你解决问题！如果有任何进一步的问题或疑问，欢迎随时向我提问。