阿里云文档 2024-09-04

如何在自己的Map或Reduce函数中实现数据的Join

MaxCompute MapReduce框架自身并不支持Join逻辑,但您可以在自己的Map或Reduce函数中实现数据的Join。

问答 2023-07-11 来自:开发者社区

请教一个大数据计算MaxCompute问题,写入动态分区的时候odps会在最后有一个reduce节?

请教一个大数据计算MaxCompute问题,写入动态分区的时候odps会在最后有一个reduce节点做各分区的数据合并,但在各个分区数据量差距很大的情况下非常容易造成倾斜,所以有一个参数可以取消掉这个合并操作能否麻烦帮忙找一下这个参数是撒子?

问答 2023-05-04 来自:开发者社区

MaxCompute如何设置,让其自动reduce num的数量和数据集大小有一定的比例?

MaxCompute如何设置,让其自动reduce num的数量和数据集大小有一定的比例?比如1g数据大小一个reduce并发,手动设置不太合理

问答 2023-04-30 来自:开发者社区

MaxCompute手动设置reduce内存大小不可拆分,怎么解决?

MaxCompute手动设置reduce 数量可以执行,但是手动设置reduce内存大小不可拆分,怎么解决? 我想设置每个reducer最大处理的数据量是1G,超过1G增大一个reduce数量

问答 2023-04-30 来自:开发者社区

MaxCompute设置每个Reduce Worker的内存大小。这样设置?有参考案例吗?

1.MaxCompute设置每个Reduce Worker的内存大小。我有32g数据,每个是1024,应该执行起来是32个左右的Reduce数量,odps.stage.reducer.mem:1024MB 这样设置?有参考案例吗? 所以还是1024 ...

问答 2023-04-30 来自:开发者社区

MaxCompute这里设置了每个reduce的内存是1024为啥没生效能?应该给我生成30个左右的

MaxCompute这里设置了每个reduce的内存是1024为啥没生效能?应该给我生成30个左右的reduce num才对 手动设置reduce 数量可以执行,但是手动设置reduce内存大小不可拆分

问答 2022-04-15 来自:开发者社区

MaxCompute查询的时候,报这个错误: fetch result encounter exception: ODPS-0420061: Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size or column number.

MaxCompute查询的时候,报这个错误:`fetch result encounter exception: ODPS-0420061: Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size o....

问答 2022-04-15 来自:开发者社区

您好,我有一个MaxCompute(原ODPS) mr任务是在前端触发运行的,每次手动触发以后会服务器的odps cmd里执行mr任务,我需要在reduce 的setup中读取一个配置文件,我把这个配置文件作为资源上传到odps之后,是否需要在服务器也存一份该文件。

您好,我有一个MaxCompute(原ODPS) mr任务是在前端触发运行的,每次手动触发以后会服务器的odps cmd里执行mr任务,我需要在reduce 的setup中读取一个配置文件,我把这个配置文件作为资源上传到odps之后,是否需要在服务器也存一份该文件。

问答 2018-12-28 来自:开发者社区

我想请教下Maxcompute的MR程序里面reduce阶段可以输出到mysql之类的关系型数据库吗?

我想请教下Maxcompute的MR程序里面reduce阶段可以输出到mysql之类的关系型数据库吗?

问答 2017-08-24 来自:开发者社区

关于MaxCompute MR 一个 reduce 的输入数据可以来自于多个 map 的输出吗? 一个 MR 处理可以不包含任何 reduce吗? 一个 MR 处理可以不包括任何 map吗?

关于MaxCompute MR一个 reduce 的输入数据可以来自于多个 map 的输出吗?一个 MR 处理可以不包含任何 reduce吗?一个 MR 处理可以不包括任何 map吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问