栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 前沿技术 > 大数据 > 大数据系统

sql优化方法

sql优化方法

1,注意检查Hive表的分区字段,并尽量多地使用

2,注明需要使用的列,而不是直接用 * 来获取所有列

3,尽量提前做过滤,减少后续处理的数据量

4,过滤条件写到子查询中,不要在外部写一个整体的大where条件

5,关注字段类型

虽然存在数据类型自动转换,但可能有坑。如date分区,大部分日期分区是字符串类型,不要吝啬引号:date='20190923'

6,注意别名使用

sql复杂时子查询别名要详尽有区分度

不要使用关键词作为别名,如inner,outer,join等

别名不要重复,可能造成sql解析歧义

7,不要在where条件中对分区字段做函数操作:

例如:

select *
from
origin_log.event_log_hourly
WHERe
app = 'hive'
and date = '${date}'
and event like '%news%'

这种条件不能下推会导致将所有event扫描一遍,应将具体的event都列出来event in ('news','news_article','news_lite')

8,union两边的数据类型必须匹配

9,不要在in中填入大量的过滤值,很多值请存临时表

10,控制sql中or的个数

曾出现where uid = 1 or uid = 2 or ........... or了非常多的情况,直接造成sql解析负载太高,系统卡住。

11,逻辑表达式合理使用括号

and 的优先级高于 or

12,正则表达式提前测试确认

因为正则表达式的错误是sql解析判断不出来的,发现不正确再重试代价大

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/280099.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号