阿里云文档 2025-04-25

Lindorm计算资源

若您要使用DataWorks进行Lindorm任务的开发、管理,需先将您的Lindorm实例绑定为DataWorks的Lindorm计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据同步和开发等操作。

阿里云文档 2025-04-21

用户画像分析案例环境准备-基于新版数据开发和Spark计算资源

本教程以用户画像为例,在华东2(上海)地域演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为了确保您能够顺利完成本教程,您需要准备教程所需的EMR Serverless Spark空间、DataWorks工作空间,并进行相关的环境配置。

阿里云文档 2025-04-17

用户画像分析案例环境准备-基于新版数据开发和StarRocks计算资源

本教程以用户画像为例,在华东2(上海)地域演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为了确保您能够顺利完成本教程,您需要准备教程所需的EMR Serverless StarRocks集群、DataWorks工作空间,并进行相关的环境配置。

阿里云文档 2025-03-21

用户画像分析案例同步数据-基于新版数据开发和StarRocks计算资源

本教程以MySQL中的用户基本信息ods_user_info_d表和OSS中的网站访问日志数据user_log.txt文件为例,通过数据集成离线同步任务分别同步至StarRocks的ods_user_info_d_starrocks、ods_raw_log_d_starrocks表。旨在介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据同步操作。

阿里云文档 2025-03-21

用户画像分析案例同步数据-基于新版数据开发和Spark计算资源

本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据,配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中,并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果,确认是否完成整个数据同步操作。

问答 2022-12-20 来自:开发者社区

MaxCompute如何进行计算成本优化

MaxCompute如何进行计算成本优化

文章 2022-06-12 来自:开发者社区

阿里云 MaxCompute 计算长尾问题优化 2

三、优化思路与解决方案3.1 Group By 长尾M1->R2_1• M1 做 local combiner• M1 输出 shuffle hash(hash(key)/N), 分发到R2_1• R2_1 做最终汇总M1->R2_1->R3_2• M1 做 local combiner• M1 输出 shuffle hash (算法加入随机因素),更均匀分发到 R2_1• R....

阿里云 MaxCompute 计算长尾问题优化 2
文章 2022-06-12 来自:开发者社区

阿里云 MaxCompute 计算长尾问题优化 1

文章目录一、前言二、长尾的原因三、优化思路与解决方案3.1 Group By 长尾3.2 count distinct 长尾3.3 动态分区 长尾3.4 Join 长尾一、前言长尾问题是分布式计算里最常见的问题之一,也是典型的疑难杂症。究其原因,是因为数据分布不均,导致各个节点的工作量不同,整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行,而不是一个....

阿里云 MaxCompute 计算长尾问题优化 1
文章 2021-12-16 来自:开发者社区

Max compute 计算长尾问题优化| 学习笔记

开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课:Max compute  计算长尾问题优化】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/55/detail/1043Max compute  计算长尾问题优化内容简介一、 长尾现象与原因二、 优化思路....

问答 2017-10-24 来自:开发者社区

MaxCompute最佳实践:长周期指标的计算优化方案

实验背景 电子商务公司(如淘宝)对用户数据分析的角度和思路可谓是应有尽有、层出不穷,所以在电商数据仓库和商业分析场景中,经常需要计算最近 N 天的访客数、购买用户数、老客数等类似的指标。 这些指标有一个共同点:都需要根据用户在电商平台上(或网上店铺)一段时间积累的数据进行计算(这里讨论的前提是数据都存储在 MaxCompute 上)。 一般情况下,这些指标的计算方式就是从日志明细表中计算就行...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute计算相关内容

云原生大数据计算服务 MaxCompute更多计算相关

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注
X
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等