hive函数中的operators, UDF, UDAF, UDTF

operators=, !=, <, >, IS NULL, …+, -, , /, …AND, OR, IN, …UDF(User Defined Functions)hive内置的udf函数(1 -> 1)：**math: round, floor, ceil, exp, log, …date: to_date, from_unixtimestamp, …conditional: if, isnull, case, coalsce, …string: char, concat, lower, trim, repeat, …自定义的UDF实现方法：继承UDF类重写evaluate方法将该java文件编译成jarUDAF(User Defined Aggregate Functions)hive内置的udaf函数(n -> 1)：count, sum, min, max, corr, ….自定义的UDAF实现方法: 1，用户的UDAF必须继承了org.apache.hadoop.hive.ql.exec.UDAF；2，用户的UDAF必须包含至少一个实现了org.apache.hadoop.hive.ql.exec的静态类，诸如实现了 UDAFEvaluator3，一个计算函数必须实现的5个方法的具体含义如下：init()：主要是负责初始化计算函数并且重设其内部状态，一般就是重设其内部字段。一般在静态类中定义一个内部字段来存放最终的结果。iterate()：每一次对一个新值进行聚集计算时候都会调用该方法，计算函数会根据聚集计算结果更新内部状态。当输 入值合法或者正确计算了，则 就返回true。terminatePartial()：Hive需要部分聚集结果的时候会调用该方法，必须要返回一个封装了聚集计算当前状态的对象。merge()：Hive进行合并一个部分聚集和另一个部分聚集的时候会调用该方法。terminate()：Hive最终聚集结果的时候就会调用该方法。计算函数需要把状态作为一个值返回给用户。UDTF(User Defined Tabular Functions)hive内置的udtf函数(1 -> n)：explode, posexplode, parse_url_tuple, …自定义的实现方法：继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF2.initialize()：UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）3.process：初始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward() 调用产生一行；如果产生多列 可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数4.最后close()方法调用，对需要清理的方法进行清理PTF(Partitioned table Function, Window Functions)hive内置的ptf函数(n -> m)：ROW_NUMBER(), RANK(), DENSE_RANK()ROW_NUMBER() : 给分区每一行分别编号RANK() ：分区排名DENSE_RANK() : 分区排名(紧密连续的名次)e.g.Usagehive> show functions;hive> desc function funcName;hive> desc function extended funcName; // describe function with some examplecustomize:develop UD[.]Fcompile to *.jardeploy to clusterhive> add jar /path/to/lib.jar;hive> create temporary function xxxx as “java.class.name”;hive> select xxxx(…) …;hive> drop temporary function xxxx;