spark云原生大数据计算服务 MaxCompute应用的相关内容

阿里云文档 2025-06-06

如何通过数据集成操作扩展点触发扩展程序校验的过程

在DataWorks开放平台中，成功注册、上线并启用扩展程序后，在该扩展程序所生效的工作空间中，使用页面部分功能（即触发扩展点事件）时，DataWorks会将事件消息发送至您的扩展程序，您可以查看扩展程序返回的结果。本文将为您介绍数据集成支持的扩展点事件，以及使用扩展点触发扩展程序校验的操作过程。

阿里云文档 2024-11-01

ECS应用角色

集群中实例上的应用程序进程在调用其他阿里云服务时，将使用ECS应用角色进行权限验证。在创建集群时既可以使用默认ECS应用角色，也可以使用自定义的角色。

阿里云文档 2024-07-15

应用场景

EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。

文章 2024-07-04 来自：开发者社区

Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享

本书从一个系统化的视角，秉承大道至简的主导思想，介绍Spark中最值得关注的内容，讲解Spark部署、开发实战，并结合Spark的运行机制及拓展，帮读者开启Spark技术之旅。 Spark大数据处理：技术、应用与性能优化(全)PDF下载 Spark已经在全球范围内广泛使用，无论是Intel、Yahoo!、Twitter、阿里巴巴、百度、腾讯等国际互联网巨头，还是一些尚处于成长期的小公司，都在...

文章 2024-06-13 来自：开发者社区

Apache Spark在大数据处理中的应用

随着信息技术的飞速发展，数据已成为驱动业务增长的关键因素。大数据时代背景下，传统的数据处理技术已难以应对海量、高增长率和多样化的数据挑战。为解决这一问题，分布式处理框架应运而生，其中Apache Spark以其高效、易用的特性，成为了大数据处理领域的明星工具。本文将深入探讨Apache Spark的核心概念、架构设计、主要组件...

文章 2024-06-02 来自：开发者社区

深入探究Apache Spark在大数据处理中的实践应用

引言：在大数据时代，数据的处理和分析能力已成为企业竞争力的关键。Apache Spark作为当前最热门的大数据处理框架之一，凭借其快速、高效和灵活的特性，已广泛应用于各个行业。本文将深入探讨Apache Spark的内部机制、核心组件以及在实际大数据处理中的应用，旨在为读者提供一份详尽的Spark使用指南。一、Apache ...

阿里云文档 2024-03-08

数据安全持续运营的应用场景及最佳实践

在该阶段，DataWorks为您提供了数据违规下载实时阻断及审批、数据违规流转准实时告警等场景的最佳实践，帮助企业做好数据安全的持续运营。

阿里云文档 2024-01-25

从GitHub获取开放平台应用场景的示例代码_大数据开发治理平台 DataWorks(DataWorks)

为方便您更好的理解和使用开放平台的各项功能，如开放API（OpenAPI）、开放事件（OpenEvent）、扩展程序（Extensions），DataWorks开放平台将您提供了相关应用场景的示例代码。本文将为您介绍如何在本地运行从GitHub获取的示例代码，以此来展示DataWorks集成在各类业务场景中的开放能力。

文章 2024-01-16 来自：开发者社区

Apache Spark 的基本概念和在大数据分析中的应用

Apache Spark 是一个开源的分布式计算系统，它旨在处理大规模数据集并提供高性能和易用性。Spark 提供了一个统一的编程模型，可以在多种编程语言中使用，包括 Scala、Java、Python和R。Spark 的主要特点包括：快速：Spark 使用内存计算技术，可以比传统的批处理系统（如...

文章 2024-01-09 来自：开发者社区

介绍 Apache Spark 的基本概念和在大数据分析中的应用。

Spark的基本概念包括：弹性分布式数据集（Resilient Distributed Dataset，简称RDD）：它是Spark的核心数据结构，代表分布在集群中的可并行处理的数据集，可以在内存中存储。RDD具有容错能力，即使在节点失败时也可以自动恢复。转换操作（Transformations）：Spark提供了一系列转换操作来对RDD进行处理，例如map、filter、reduce等。这些转....