栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 前沿技术 > 大数据 > 大数据系统

HIVE性能调优之GROUP BY# 数据倾斜

HIVE性能调优之GROUP BY# 数据倾斜

默认情况下,map阶段同一key数据分发给同一reduce,如果单一key过大就很容易造成数据倾斜。(100条数据分组后一组90条,一组10条,这就会数据倾斜)
这样的话,我们就可以预先在map端进行一些聚合操作,减轻reduce端的压力。

常用参数:
–是否在 Map 端进行聚合,默认为 True
set hive.map.aggr = true
–在 Map 端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000
–有数据倾斜的时候进行负载均衡(默认是 false)
set hive.groupby.skewindata = true
hive分组的负载均衡策略是:
生成两个MR job
第一个MR job中的map端会随机将数据分发给reduce端,从而降低数据倾斜的发生。
第二个MR job在根据预处理的数据结果按照Group By Key再次分发数据完成分组。
相当于进行了一次彻彻底底的shuffle来消除数据倾斜。
实际优化过程中:str_to_map函数加持的情况下,从 1小时优化为 30分钟,效果还是比较明显的。

示意图:

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/280089.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号