阿里云文档 2025-02-07

如何通过阿里云DataWorks提交作业

DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点,实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能,为用户提供一站式数据湖开发和治理的环境。本文介绍如何通过阿里云DataWorks提交作业。

阿里云文档 2025-02-05

如何在DataWorks上使用E-MapReduce

DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程,以及相关费用说明、环境准备、权限控制等内容。

阿里云文档 2024-12-19

如何在DataWorks上调用Python的API运行Spark作业。

PySpark可直接调用Python的API运行Spark作业,PySpark作业需在特定Python环境中运行。EMR默认支持使用Python,若EMR支持的Python版本无法运行PySpark作业,则您可参考本实践配置可用的Python环境并在DataWorks上运行PySpark作业。

问答 2024-08-25 来自:开发者社区

dataworks-数据开发 报 集群处于安全模式状态,所有加载作业都被拒绝这个是什么原因呢?

dataworks-数据开发 报 集群处于安全模式状态,所有加载作业都被拒绝,使用的是EMR数据源。这个是什么原因呢?

问答 2024-04-21 来自:开发者社区

dataworks + CDP集群 能运行pySpark作业吗?

dataworks + CDP集群 能运行pySpark作业吗?

阿里云文档 2024-01-25

如何通过DataWorks对Lindorm计算引擎的各类作业进行开发和调度运维_云原生多模数据库 Lindorm(Lindorm)

Lindorm计算引擎兼容CDH(Cloudera's Distribution Including Apache Hadoop),支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何通过DataWorks对Lindorm计算引擎的各类作业进行开发和调度运维。

阿里云文档 2023-09-03

如何通过DataWorks运维中心查看MaxCompute作业的运行信息_云原生大数据计算服务 MaxCompute(MaxCompute)

DataWorks运维中心展示离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息,帮助您提升任务运维效率。当您在DataStudio中完成节点开发,并提交和发布至生产环境后,即可在运维中心查看作业运行详情、监控作业运行状态等操作。本文为您介绍如何通过DataWorks运维中心查看MaxCompute作业的运行信息。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等