apache云原生大数据计算服务 MaxCompute应用的相关内容

阿里云文档 2024-11-01

ECS应用角色

集群中实例上的应用程序进程在调用其他阿里云服务时，将使用ECS应用角色进行权限验证。在创建集群时既可以使用默认ECS应用角色，也可以使用自定义的角色。

阿里云文档 2024-07-15

应用场景

EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。

文章 2024-06-02 来自：开发者社区

深入探究Apache Spark在大数据处理中的实践应用

引言：在大数据时代，数据的处理和分析能力已成为企业竞争力的关键。Apache Spark作为当前最热门的大数据处理框架之一，凭借其快速、高效和灵活的特性，已广泛应用于各个行业。本文将深入探讨Apache Spark的内部机制、核心组件以及在实际大数据处理中的应用，旨在为读者提供一份详尽的Spark使用指南。一、Apache ...

阿里云文档 2024-03-08

数据安全持续运营的应用场景及最佳实践

在该阶段，DataWorks为您提供了数据违规下载实时阻断及审批、数据违规流转准实时告警等场景的最佳实践，帮助企业做好数据安全的持续运营。

阿里云文档 2024-01-25

从GitHub获取开放平台应用场景的示例代码_大数据开发治理平台 DataWorks(DataWorks)

为方便您更好的理解和使用开放平台的各项功能，如开放API（OpenAPI）、开放事件（OpenEvent）、扩展程序（Extensions），DataWorks开放平台将您提供了相关应用场景的示例代码。本文将为您介绍如何在本地运行从GitHub获取的示例代码，以此来展示DataWorks集成在各类业务场景中的开放能力。

文章 2024-01-16 来自：开发者社区

Apache Spark 的基本概念和在大数据分析中的应用

Apache Spark 是一个开源的分布式计算系统，它旨在处理大规模数据集并提供高性能和易用性。Spark 提供了一个统一的编程模型，可以在多种编程语言中使用，包括 Scala、Java、Python和R。Spark 的主要特点包括：快速：Spark 使用内存计算技术，可以比传统的批处理系统（如...

阿里云文档 2024-01-12

数据安全防护措施及安全治理策略建设的应用场景及最佳实践_大数据开发治理平台 DataWorks(DataWorks)

在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。

文章 2024-01-09 来自：开发者社区

介绍 Apache Spark 的基本概念和在大数据分析中的应用。

Spark的基本概念包括：弹性分布式数据集（Resilient Distributed Dataset，简称RDD）：它是Spark的核心数据结构，代表分布在集群中的可并行处理的数据集，可以在内存中存储。RDD具有容错能力，即使在节点失败时也可以自动恢复。转换操作（Transformations）：Spark提供了一系列转换操作来对RDD进行处理，例如map、filter、reduce等。这些转....

文章 2023-11-03 来自：开发者社区

Apache DolphinScheduler 在大数据环境中的应用与调优

本文主要涉及三大主题：首先，探讨常见的工作流配置模式，其次，介绍DS 2.0.X版本的重要功能特性，最后，分享生产环境下的调优实践。01工作流配置模式在Apache DolphinScheduler中，工作流配置模式以其多样性和灵活性而受到开发者喜爱。虽然这些配置模式可能已经为大家所熟知，但本文仍会对其进行简单介绍。主要的配置模式包括单一DAG模式、子工作流串联模式、按数据仓库层级调度工作流依赖....

文章 2023-09-18 来自：开发者社区

Apache Spark 的基本概念和在大数据分析中的应用

Apache Spark 是一种流行的开源大数据分析框架，它是建立在强大的分布式计算引擎基础上的，可以处理大规模的数据，并提供高性能的数据处理能力。以下是 Apache Spark 的一些基本概念：1. Resilient Distributed Datasets（RDD）：是 Spark 中的核心概念，是一个可并行计算的分布式数据结构，它可以储存大规模的数据，并提供对数据的高效操作。2. Sp....