Hive实现oracle的Minus函数
在Oracle中minus运算的主要功能是： 在进行两个表格或者两个查询结果的时候，返回在第一个表格/查询结果中与第二个表格/查询结果不相同的记录。
结果不相同的记录包含两种情况：A，B 表中某一行的内容不同和A表中的数据在B表中不存在。总之返回的是A表的数据。
Hive中没有实现minus功能的函数，只好分步实现。
一、找出在Ａ表中的数据在Ｂ表中不存在的数据
insert overwrite table tmp_Ａ partition(name=‘Ａ_innot_B‘)
select
a.*
from A a left outer join B b on (a.id = b.id) where b.id is NULL;
二、找出在A表和B表都存在但内容不同的数据
ＵＤＦ函数如下：
public class Minus extends UDF{
String Ａ="";
String Ｂ="";
public Text evaluate(String... strs){
for(int i=0;i<strs.length/2;i++){
Ａ=Ａ+strs[i];
}
for(int i=strs.length/2;i<strs.length;i++){
Ｂ=Ｂ+strs[i];
}
if(Ａ.replace(" ", "").equals(Ｂ.replace(" ", ""))){
return new Text("");
}else{
return new Text(strs[0].replace(" ", ""));
}
}
对应的查询如下：
insert overwrite table tmp_Ａ_diff
select iminus(
a.*,b.*
) from A a join B b on (a.id=b.id);
tmp_A_diff存储的是A表和B表都存在但内容不同的数据的id和一些“”。
根据id获得每行数据
insert overwrite table tmp_A partition(name="A_in_B")
select a.*
from tmp_A_diff b join A a on (a.id=b.id);
现在tmp_A中分区A_innot_B和分区A_in_B的数据就是oracle中（select * from A）minus (select * from B)的数据。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
