优化整体思路
如果资源充足就加资源加内存,调度链路优化,调整调度顺序,时效性要求高的模型先产出,数据接入模块,调优数据接入工具sqoop,datax模型设计质量不高,调整模型,提高质量和复用度,尽可能减少joinhive参数调优sql调优,数据倾斜,join原则模型优化
存储类型:parquet
压缩类型:Snappy
分区:PARTITIONED BY (DT String
模型设计:字段类型,字段冗余,主键等,历史表,拉链表
一、SQL执行顺序
代码写的顺序:om ( select distinct user_id
select ... from .a join b. on .. where.... group by... having... order by..
msyql语句执行顺序 :
from. join. on . where...group by... having.... select ... order by...
hive 语句