构建云原生大数据计算服务 MaxCompute 的相关内容

阿里云文档 2025-03-25

如何使用KMS在MaxCompute中构建UDF

如果您在大数据计算服务MaxCompute SQL中要对数据进行加解密，可采用UDF结合KMS实例的方式来实现。本文介绍如何在MaxCompute UDF中使用KMS实例对数据进行加解密。

文章 2025-03-01 来自：开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践（二）专场中的分享。主要分为以下四个部分：鹰角数据平台架构数据湖选型湖仓一体建设未来展望 01鹰角数据平台架构首先给大家介绍一...

文章 2025-02-19 来自：开发者社区

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，Apache Hudi Contributor 朱正军老师在 Flink Forward Asia 2024 生产实践（二）专场中的分享。主要分为以下四个部分：一、鹰角数据平台架构二、数据湖选型三、湖仓一体建设四、未来展望一、鹰角数据平台架构首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前，关于鹰角我先给大家做简单的介绍。 1.1 ...

文章 2025-02-19 来自：开发者社区

美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

作者：美的楼宇科技事业部先行研究中心智能技术部美的楼宇科技 IoT 数据平台建设背景美的楼宇科技事业部（以下简称楼宇科技）是美的集团旗下五大板块之一，产品覆盖多联机组、大型冷水机组、单元机、机房空调、扶梯、直梯、货梯以及楼宇自控软件和建筑弱电集成解决方案，远销海内外200多个国家。针对当前设备数据量庞大且持续增长、数据呈现半结构化特点的现状，现有系统仅停留在数据存...

文章 2024-09-24 来自：开发者社区

解锁Python隐藏技能：构建高效后缀树Suffix Tree，处理大数据游刃有余！

在大数据处理领域，字符串的搜索、匹配和相似度分析是常见的挑战。Suffix Tree（后缀树），作为一种高度优化的数据结构，专为处理这类问题而生。它不仅能够快速检索字符串中的所有后缀，还能有效支持最长公共后缀查询、字符串排序等多种高级操作。今天，我们将深入探讨如何在Python中构建高效的后缀树&#...

文章 2024-09-23 来自：开发者社区

深入理解Apache HBase：构建大数据时代的基石

引言在大数据时代，数据的存储和管理成为了企业面临的一大挑战。随着数据量的急剧增长和数据结构的多样化，传统的关系型数据库（如RDBMS）逐渐显现出局限性。为此，Apache HBase作为一款开源、分布式、面向列的非关系型数据库系统应运而生，成为处理大规模数据集的重要工具。本文将深入探讨HBase的技术原理、核心特性、应用场景以及性能优化策略，帮助读者更好地理解这一强大的分布式存储解决方...

文章 2024-08-25 来自：开发者社区

Hadoop生态系统概述：构建大数据处理与分析的基石

在当今的大数据时代，Hadoop作为开源的大数据处理框架，已经成为众多企业和组织处理大规模数据集的首选工具。Hadoop生态系统是一个由多个组件组成的复杂系统，旨在提供全面的数据存储、处理和分析能力。本文将深入探讨Hadoop生态系统的核心组件、工作原理、应用场景以及其优势和局限性。 Hadoop生态系统的核心组件 Hadoop Distributed ...

问答 2024-08-07 来自：开发者社区

基于Iceberg构建的湖仓一体架构主要解决了Hive数据仓库的哪些痛点？

问答 2024-08-07 来自：开发者社区

为什么选择Flink和Iceberg来构建实时湖仓一体的架构？

文章 2024-07-28 来自：开发者社区

HAS插件式Kerberos认证框架：构建安全可靠的大数据生态系统

引言随着大数据技术的飞速发展，数据安全成为了企业关注的核心问题之一。Apache Hadoop作为主流的大数据处理平台，其安全性也日益受到重视。为了加强Hadoop的安全性，HAS（Hadoop Authentication System）插件式Kerberos认证框架应运而生。本文将详细介绍HAS框架的设计理念、关键技术以及...