构建云原生大数据计算服务 MaxCompute环境的相关内容

阿里云文档 2025-04-07

如何使用KMS在MaxCompute中构建UDF

如果您在大数据计算服务MaxCompute SQL中要对数据进行加解密，可采用UDF结合KMS实例的方式来实现。本文介绍如何在MaxCompute UDF中使用KMS实例对数据进行加解密。

阿里云文档 2025-01-24

基于Delta Table构建近实时增全量一体化链路实践

面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。

阿里云文档 2024-09-23

在TDX实例中基于BigDL PPML构建全链路安全的分布式Spark大数据分析应用

本文介绍在基于Intel® TDX安全特性的g8i实例中，使用BigDL PPML解决方案运行分布式的全链路安全的Spark大数据分析应用。

阿里云文档 2024-07-03

通过MaxCompute与DLF和OSS构建湖仓一体

通过MaxCompute与DLF和OSS的组合，可以实现数据仓库和数据湖的一体化，提供更加灵活和高效的数据处理能力。本文为您介绍如何通过MaxCompute、DLF和OSS构建湖仓一体，以及湖仓一体项目的管理。

阿里云文档 2024-01-16

如何通过MaxCompute与Hadoop构建湖仓一体_云原生大数据计算服务 MaxCompute(MaxCompute)

通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖仓一体项目。

文章 2023-11-16 来自：开发者社区

构建和应用大数据环境涉及多个方面，包括环境搭建、开发工具选择、组件使用等。下面是一个从搭建到开发与组件使用的全面指南，帮助你更好地了解和应用大数据环境环境搭建云平台选择：可以选择公有云如Amazon Web Services（AWS）、Microsoft Azure、Google Cloud等，或私有云搭建大数据环境。硬件和资源规划：根据项目需求，规划服务器、存储、网络等硬件资源，确保满足大....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十二）-部署DataX+DataX Web

DataX1.下载解压2.自检rm-rf /data/soft/datax/plugin/*/._*datax.py ../job/job.json自检结束部署完成网络异常，图片无法展示|DataX web1.解压2.一键安装./bin/install.sh --force3.输入数据库连接密码和数据库名网络异常，图片无法展示|4.启动服务start-all.sh5.访问服务http://192....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十二）-部署Sqoop

1.解压2.修改配置mv sqoop-env-template.sh sqoop-env.sh3.添加环境变量export SQOOP_HOME=/data/soft/sqoop-1.4.7.bin__hadoop-2.6.0export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SQOOP....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十一）-部署Flink1.14.5

1.解压2.修改配置vi flink-conf.yaml jobmanager.rpc.address: bigdataclassloader.check-leaked-classloader: falsevi mastersbigdata:8081vi workersbigdata3.启动验证start-cluster.sh 18066 TaskManagerRunner4.访问web页面网络....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十）-部署Redis

1.解压并编译2.安装C语言环境yum install gccmakeMALLOC=libc3.修改redis.confdaemonize yeslogfile /data/soft/redis-5.0.9/logbind 127.0.0.1 192.168.78.104.启动redisredis-server redis.conf验证redis启动ps -ef|grep redis网络异常，图....