请教hive自定义UDAF函数

Question

最近在学习Hive的UDAF自定义函数.网上看了很多个例子.
发现一些例子选择是 extends GenericUDAFEvaluator.
一些例子选择implements GenericUDAFResolver2.
请问这两种方法有什么区别?

Answer 1

引自免费微信小程序：皆我百晓生

在Apache Hive中，用户定义的聚合函数（UDAF）允许用户自定义聚合操作，例如计算平均值、最大值、最小值等。UDAF有两种主要实现方式：GenericUDAFEvaluator 和 GenericUDAFResolver2。它们之间的主要区别在于接口的功能和适用场景。

1. GenericUDAFEvaluator: 这是一个用于实现UDAF的核心类，它包含了执行聚合逻辑的所有必需部分。一个典型的UDAF通常会继承这个类并重写其中的方法，如evaluate()、merge()、reset()和init()。这些方法分别对应于单行评估、合并中间结果、重置状态以及初始化。

   以下是基于GenericUDAFEvaluator的一个简单示例：

   public class MyCustomUDAF extends GenericUDAFEvaluator {
       private transient ObjectInspector inputOI;
       private transient Aggregator agg;
   
       @Override
       public ObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException {
           // 初始化输入参数类型检查器
           inputOI = ...;
           return ...; // 返回输出对象检查器
       }
   
       @Override
       public void reset() throws HiveException {
           // 重置状态
           agg = new MyAggregator();
       }
   
       @Override
       public Aggregator getNewAggregator() throws HiveException {
           // 创建新的聚合器实例
           return new MyAggregator();
       }
   
       @Override
       public boolean iterate(Aggregator agg, Object[] parameters) throws HiveException {
           // 单行评估
           ((MyAggregator)agg).add(parameters[0]);
           return true;
       }
   
       @Override
       public Object terminatePartial(Aggregator agg) throws HiveException {
           // 合并中间结果
           return ((MyAggregator)agg).terminate();
       }
   
       @Override
       public Object terminate(Aggregator agg) throws HiveException {
           // 最终结果
           return agg.terminate();
       }
   }
   
   public class MyAggregator implements Aggregator {
       private double sum;
   
       public void add(Object value) {
           // 添加值到当前累加器
           sum += Double.parseDouble(value.toString());
       }
   
       public Object terminate() {
           // 返回最终结果
           return sum;
       }
   }
   

2. GenericUDAFResolver2: 这是更现代的接口，提供了更多的灵活性和更好的性能。当需要支持多返回值、分区或排序时，推荐使用GenericUDAFResolver2。它引入了getEvaluator()方法，用于根据不同的环境返回合适的GenericUDAFEvaluator实例。

   下面是一个简单的示例，展示了如何使用GenericUDAFResolver2：

   public class MyCustomUDAFResolver extends GenericUDAFResolver2 {
       @Override
       public AbstractGenericUDAFResolver.getEvaluatorType() {
           return EvaluatorType.SIMPLE;
       }
   
       @Override
       public GenericUDAFEvaluator getEvaluator(Context context) throws HiveException {
           // 根据上下文创建并返回适合的Evaluator
           return new MyCustomUDAFEvaluator(context);
       }
   }
   
   public class MyCustomUDAFEvaluator extends GenericUDAFEvaluator {
       // ... (与上面的示例相同)
   }
   

总结来说，如果你的UDAF功能相对简单，只需要基本的迭代、合并和初始化操作，那么使用GenericUDAFEvaluator就足够了。然而，如果你的UDAF需要处理复杂的情况，比如多返回值或处理分组和排序，那么你应该考虑使用GenericUDAFResolver2配合GenericUDAFEvaluator来实现。