Apache Pig字符串截取实战小例子
记录一个Pig字符串截取的实战小例子:
需求如下,从下面的字符串里提取出第2列(冒号后面)的值:
1 2 3 4 a:ab#c#d a:c#c#d a:dd#c#d a:zz#c#d
如果是在java里,方法可能有很多种,比如substring,或者split多次等,在pig也大致如此,可以使用SUBSTRING内置函数来完成,但散仙推荐使用下面的方式,这种方式比较灵活,适合大部分场景的数据提取,需要用到的2个函数如下:
(1)REGEX_EXTRACT(‘原始字符串‘,‘正则式‘,int类型的返回索引)
(2)STRSPLIT(‘原始字符串‘, ‘正则式‘, 限制返回的个数)
pig脚本写法:
a = laod ‘/tmp/data‘ as (data:chararray) //注意逻辑是,先获取冒号后面的数据,然后split成tuple,再通过$1(下标访问元素)获取我们需要的数据即可。 b = foreach a generate STRSPLIT (REGEX_EXTRACT (data, ‘(.*):(.*)‘, 2) ,‘#‘,5).$0; dump b;
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。