带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(1) https://developer.aliyun.com/article/1247150?groupCode=taobaotech基础知识经验总结与沉淀SQL的一些使用技巧 null我们在进行=/<>/in/not in等判断时，null会不包含在这些判断条件中，所以在对null的处理时可以使用nvl或者coal....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(4)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(3) https://developer.aliyun.com/article/1247147?groupCode=taobaotech常用的参数设置常用的调整无外乎调整map、join、reduce的个数，map、join、reduce的内存大小。本文以ODPS的参数设置为例，参数可能因版本不同而略有差异。 Map设置set o....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(5)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(4) https://developer.aliyun.com/article/1247146?groupCode=taobaotechReduce设置set odps.sql.reducer.instances=-1作用: 设定Reduce Task的Instance数量，手动设置区间在[1,99999]之间调整。不走HBO优化....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(6)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(5) https://developer.aliyun.com/article/1247145?groupCode=taobaotech UDF相关参数set odps.sql.udf.jvm.memory=1024作用: 设定UDF JVM Heap使用的最大内存，单位M，默认1024M，在[256，12288]之间调整。场景：....

文章 2023-06-12 来自：开发者社区

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(7)

带你读《2022技术人的百宝黑皮书》——ODPS SQL优化总结(6) https://developer.aliyun.com/article/1247144?groupCode=taobaotech解决步骤 skewjoin看到JOIN节点运行缓慢，第一反应是数据倾斜，通过对淘宝天猫订单表按照商品维度汇总统计也可以印证存在热销商品的情况。于是毫不犹豫使用了ODPS的skewjoin hint....