本文主要是介绍hive中自定义UDT,UDTF函数，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
自定函数
**** 自定义函数
1.Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来
方便的扩展。
2.当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义
函数（UDF：user-defined function）。
3根据用户自定义函数类别分为以下三种：
（1）UDF（User-Defined-Function）
一进一出
（2）UDAF（User-Defined Aggregation Function）
聚集函数，多进一出
类似于：count/max/min
（3）UDTF（User-Defined Table-Generating Functions）
一进多出
如 lateral view explode()
1.使用idea自定义UDF函数
自定义一个 UDF 实现计算给定字符串的长度，例如：
hive(default)> select my_len("abcd"); 1.创建maven工程
2.导入依赖
<dependencies><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency></dependencies>
2.创建一个UDF类继承 GenericUDF 重写方法
package com.lhh.udf;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;/*** @program: hive-api* @description:* @author: 华仔* @create: 2021-03-25 22:43*/
//自定义 myudf
public class MyUDF extends GenericUDF {//初始化 校验数据参数个数public ObjectInspector initialize(ObjectInspector[] objectInspectors) throws UDFArgumentException {if (objectInspectors.length != 1) {throw new UDFArgumentException("参数个数不为1");}return PrimitiveObjectInspectorFactory.javaIntObjectInspector;}//计算 处理数据public Object evaluate(DeferredObject[] deferredObjects) throws HiveException {///取出数据String input = deferredObjects[0].get().toString();//判断数据是否为nullif (input == null) {return 0;}//返回输入数据的长度
// return input.toUpperCase();//转大写
// return input.toLowerCase();//转小写return input.length();}public String getDisplayString(String[] strings) {return "";}
}2.自定义 UDTF 函数
1.需求
自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词，例如
hive(default)> select myudtf("hello,world,hadoop,hive", ",");
hello
world
hadoop
hive
2.代码实现
package com.lhh.udf;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;import java.util.ArrayList;
import java.util.List;/*** @program: hive-api* @description:* @author: 华仔* @create: 2021-03-25 23:23*/
//自定义myudtf/*** 输入数据: hello,atguigu,hive (stirng类型)* 输出数据 :* hello* atuigu* hive*/
public class MyUDTF extends GenericUDTF {//输出数据的集合private ArrayList<String> Output = new ArrayList<String>();//初始化 校验数据参数个数public StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException {//输出数据的默认列名,可以被别名覆盖List<String> fieldNames = new ArrayList<String>();fieldNames.add("word");//输出数据的类型List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);}//处理输入数据public void process(Object[] objects) throws HiveException {//第一步取出输入数据String input = objects[0].toString();//取出自己定义的分隔符 select my_udtf(name,',') String s1 = objects[1].toString();//按分割符拆分String[] split = input.split(s1);for (String s : split) {//清空集合Output.clear();//将数据添加到集合Output.add(s);//输出数据forward(Output);}}//首尾方法public void close() throws HiveException {}
}
3.在hive中使用自定义方法
1.将工程导成jar包放到 /opt/module/hive/lib/ 下面去
2.添加jar包
add jar /opt/module/hive/data/hive-demo-1.0-SNAPSHOT.jar;
3.为稳妥,直接ctrl +c 先退出一波
4.重新进来创建自定函数
--UDFcreate temporary function my_len as
"com.lhh.udf.MyUDF";--UDTFcreate temporary function my_udtf as
"com.lhh.udf.MUDTF";
5.使用自定义函数
--UDF 计算长度
SELECT my_len('lhhhuazi') from test;
--UDTF
SELECT MY_UDTF(words,',') from test;
这篇关于hive中自定义UDT,UDTF函数的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
