阿里云文档 2024-12-06

通过Apache Airflow向EMR Severless Spark提交任务

Apache Airflow是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过Apache Airflow实现自动化地向EMR Serverless Spark提交任务,以实现作业调度和执行的自动化,帮助您更有效地管理数据处理任务。

问答 2024-06-09 来自:开发者社区

MaxCompute spark作业报错Class org.apache.hadoop.fs....

MaxCompute spark作业报错Class org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem not found

阿里云文档 2022-08-22

问题描述Dataphin执行Spark脚本任务,报错“org.apache.spark.sql.AnalysisException: Table or view not found: ...”。解决方案Dataphin的Spark脚本任务,不会对用户的代码进行翻译;需要在任务中直接使用计算源项目名称...

问答 2022-07-13 来自:开发者社区

spark-submit --class org.apache.hudi.utilities.Hoo

spark-submit --class org.apache.hudi.utilities.HoodieCleaner, hudi的清理任务(独立运行),是针对所有的hudi表吧?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像