1,注意检查Hive表的分区字段,并尽量多地使用
2,注明需要使用的列,而不是直接用 * 来获取所有列
3,尽量提前做过滤,减少后续处理的数据量
4,过滤条件写到子查询中,不要在外部写一个整体的大where条件
5,关注字段类型
虽然存在数据类型自动转换,但可能有坑。如date分区,大部分日期分区是字符串类型,不要吝啬引号:date='20190923'
6,注意别名使用
sql复杂时子查询别名要详尽有区分度
不要使用关键词作为别名,如inner,outer,join等
别名不要重复,可能造成sql解析歧义
7,不要在where条件中对分区字段做函数操作:
例如:
select * from origin_log.event_log_hourly WHERe app = 'hive' and date = '${date}' and event like '%news%'
这种条件不能下推会导致将所有event扫描一遍,应将具体的event都列出来event in ('news','news_article','news_lite')
8,union两边的数据类型必须匹配
9,不要在in中填入大量的过滤值,很多值请存临时表
10,控制sql中or的个数
曾出现where uid = 1 or uid = 2 or ........... or了非常多的情况,直接造成sql解析负载太高,系统卡住。
11,逻辑表达式合理使用括号
and 的优先级高于 or
12,正则表达式提前测试确认
因为正则表达式的错误是sql解析判断不出来的,发现不正确再重试代价大