文章 2024-04-22 来自:开发者社区

一文解析 ODPS SQL 任务优化方法原理

一、背景 使用ODPS SQL进行离线数据研发时,开发同学不可避免会碰到任务性能问题,需要经常对ODPS SQL执行任务进行调优,以对重点场景任务产出时效进行保障,避免资源浪费。调优过程需要参考相关优化文档资料,发现技术网站中有很多文章介绍到相关的优化方法,但从ODPS底层执行计划来解释为什么要这样做优化以及背后的依据是什么的介绍文章比较少。本文尝试从ODPS底层逻辑计划拆解部...

一文解析 ODPS SQL 任务优化方法原理
问答 2024-03-19 来自:开发者社区

DataWorks用odps jdbc查询表授权情况时返回的结果不知道怎么解析?

DataWorks用odps jdbc查询表授权情况时返回的结果不知道怎么解析(不知道json节点含义)有文档吗? 比如执行:show grants on table dim_date privilegeproperties ("policy"="true"); 结果的result部分是:

问答 2023-11-30 来自:开发者社区

DataWorks使用do-while 节点 在Odps中使用内置节点 解析不出值来呢?

DataWorks使用do-while 节点 在Odps中使用内置节点 如${dag.input},${dag.input[${dag.offset}]}直接使用 select ${dag.input} 解析不出值来呢?

问答 2023-11-30 来自:开发者社区

DataWorks我通过json解析的函数解成多个字段写到odps这样?

DataWorks比如说在mysql表中的一个字段,我通过json解析的函数解成多个字段写到odps这样?

问答 2023-11-20 来自:开发者社区

用dataworks 解析 oss的orc文件写入odps正常 有告诉我这个是哪里配置问题吗?

用dataworks 解析 oss的orc文件写入odps正常 但是我用开源 datax的脚本方式去解析oss的orc文件到hdfs 读取和写入数据是异常的 数据出现乱码和空值 有大佬告诉我这个是哪里配置问题吗?

问答 2023-08-30 来自:开发者社区

自定义UDF中使用jaxb解析xml,odps中抛出access denied异常。

是因为沙盒限制的原因吗?

问答 2023-08-27 来自:开发者社区

DataWorks我在使用ODPS SQL 解析json( get_json_object )的?

DataWorks我在使用ODPS SQL 解析json( get_json_object )的时候 当json字符串包含特殊字符 则无法正常解析,请问平台是否提供通用转义方案,我看开源Hive有escape_json()的解决方案,但是ODPS平台不支持?

问答 2023-08-27 来自:开发者社区

各位大佬 大数据计算MaxCompute我现在用ODPS SQL 针对JSON字符串解析的时候遇到?

各位大佬 大数据计算MaxCompute我现在用ODPS SQL 针对JSON字符串解析的时候遇到一个情况当json字符串里面包含ASCII特殊字符的时候 get_json_object() 就不能正常工作了 请问这个应该怎么处理呀?如果能够提供给我一个方法简单的将特殊字符转义掉 也是OK的,我看到开源的Hive有escape_json()的解决方案,但是ODPS平台不支持

文章 2023-07-07 来自:开发者社区

ODPS(MaxCompute)不支持解析和执行SQL语句中的Hint语句

是的,ODPS(MaxCompute)不支持解析和执行SQL语句中的Hint语句。Hint语句是一种在SQL语句中使用特定注释形式来影响查询执行计划的方法。 在您提供的示例中,/* + mapjoin(a) */是一个Hint语句,用于提示查询优化器在执行连接操作时使用MapJoin算法。然而,ODPS并...

文章 2023-07-07 来自:开发者社区

ODPS(MaxCompute)不支持解析和执行SQL语句中的Lateral View语法

是的,ODPS(MaxCompute)不支持解析和执行SQL语句中的Lateral View语法。Lateral View用于在查询中进行表展开操作,例如使用explode()函数。然而,ODPS并不支持此功能,因此无法直接在ODPS中执行包含Lateral View的查询。 对于您提供的示例查询,...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等