Hive 优化--SQL执行顺序 Hive参数 数据倾斜 小文件优化

优化整体思路

如果资源充足就加资源加内存，调度链路优化，调整调度顺序，时效性要求高的模型先产出，数据接入模块，调优数据接入工具sqoop，datax模型设计质量不高，调整模型，提高质量和复用度，尽可能减少joinhive参数调优sql调优，数据倾斜，join原则

模型优化

存储类型：parquet

压缩类型：Snappy

分区：PARTITIONED BY (DT String

模型设计：字段类型，字段冗余，主键等，历史表，拉链表

一、SQL执行顺序

代码写的顺序：om ( select distinct user_id

select ... from .a join b. on .. where.... group by... having... order by..

msyql语句执行顺序 ：

from. join. on . where...group by... having.... select ... order by...

hive 语句