栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 前沿技术 > 大数据 > 大数据系统

hive sql - 如何选择 hive 数组列中的前 n 个元素并返回选定的数组

hive sql - 如何选择 hive 数组列中的前 n 个元素并返回选定的数组

表数据如下:

user_id  interest_array
tom      [a,b,c,d,g,w]
bob      [e,d,s,d,g,w,s]
cat      [a]
harry    []
peter    NULL

目的是按顺序选择每行“interest_array”中的前 3 个元素并将其作为数组返回,输出如下:

user_id  output_array
tom      [a,b,c]
bob      [e,d,s]
cat      [a]
harry    []
peter    NULL
实现方式 1、简单的方法,但如果初始数组可以包含较少的元素(结果数组将包含NULL),它将无法正常工作。
with mydata as(
    select array('a','b','c','d','g','w') as original_array
    )
    select original_array, array(original_array[0], original_array[1], original_array[2]) as first_3_array
    from mydata

结果:

original_array              first_3_array
["a","b","c","d","g","w"]   ["a","b","c"]
2、另一种使用explode的方法,适用于任何数组:

使用poseexplode分解数组,过滤位置<=2,再次收集数组:

with mydata as(
select array('a','b','c','d','g','w') as original_array
)

select original_array, collect_list(e.element) as first_3_array
from mydata
     lateral view outer posexplode(original_array) e as pos, element
where pos<=2
group by original_array

结果:

original_array              first_3_array
["a","b","c","d","g","w"]   ["a","b","c"]
3、更高效的方法,不爆炸:用逗号分隔符连接数组,使用regexp提取最多3个第一个元素的子串,再次拆分:
with mydata as(
select array('a') as original_array
)

select original_array, split(regexp_replace(regexp_extract(concat_ws(',', original_array),
                                                           '^(([^,]*,?){1,3})',1),
                                            ',$','') --remove last delimiter
                             ,',') as first_3_array
from mydata 
转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/280043.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号