阿里云文档 2024-05-11

使用Spark RDD API开发离线作业

本文介绍Spark如何访问SLS。

问答 2021-12-05 来自:开发者社区

Spark中RDD依赖关系是什么?

Spark中RDD依赖关系是什么?

文章 2020-06-29 来自:开发者社区

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系

RDD(Resilient Distributed Datasets)弹性的分布式数据集,又称Spark core,它代表一个只读的、不可变、可分区,里面的元素可分布式并行计算的数据集。 RDD是一个很抽象的概念,不易于理解,但是要想学好Spark,必须要掌握RDD,熟悉它的编程模型,这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读: Resilient(弹性的)....

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
文章 2017-11-14 来自:开发者社区

Spark RDD概念学习系列之RDD的依赖关系(宽依赖和窄依赖)(三)

  RDD的依赖关系?        RDD和它依赖的parent RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。      1)窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用...

Spark RDD概念学习系列之RDD的依赖关系(宽依赖和窄依赖)(三)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等