AI 助理
备案控制台
文章 2025-02-19 来自：开发者社区

【赵渝强老师】Spark RDD的缓存机制

Spark RDD通过persist方法或cache方法可以将计算结果的缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD才会被缓存在计算节点的内存中并供后面重用。下面是persist方法或cache方法的函数定义： def persist(): this...

【赵渝强老师】Spark RDD的缓存机制
文章 2024-10-14 来自：开发者社区

大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume&...

大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
文章 2024-01-19 来自：开发者社区

Spark RDD持久化与缓存：提高性能的关键

在大规模数据处理中，性能是至关重要的。Apache Spark是一个强大的分布式计算框架，但在处理大数据集时，仍然需要优化性能以获得快速的查询和分析结果。在本文中，将探讨Spark中的RDD持久化与缓存，这是提高性能的关键概念。 什么是RDD持久化与缓存？ 在Spark中，RDD（弹性分布式数据集）是核心数据抽象，用于分布式数据处理。RDD的持久化与缓存是一种机制，允许将RDD的数据保留在内...

Spark RDD持久化与缓存：提高性能的关键
文章 2022-06-20 来自：开发者社区

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（下）

3. 持久化持久化，也就是将 RDD 的数据缓存到内存中/磁盘中，以后无论对这个RDD做多少次计算，都是直接取这个RDD的持久化的数据，比如从内存中或者磁盘中，直接提取一份数据。可以使用 persist()函数来进行持久化，一般默认的存储空间是在内存中，如果内存不够就会写入磁盘中。persist 持久化分为不同的等级，还可以在存储等级的末尾加上_2用于把持久化的数据存为 2 份，避免数据丢失。下....

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（下）
文章 2022-06-20 来自：开发者社区

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（中）

请看下面的例子（根据相同键，计算其所有值的平均值）：val cbRDD = sc.parallelize(Seq(("a", 1), ("a", 2), ("a", 3), ("b", 2), ("b", 5)))val result = cbRDD.combineByKey( // 分区内遇到新的键时，创建一个(累加值，出现次数)的键值对 (v) => (v, 1), // 分区内遇到已....

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（中）
文章 2022-06-20 来自：开发者社区

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（上）

0x00 教程内容转换算子与行动算子的进阶操作RDD的缓存与持久化0x01 进阶算子操作1. 创建RDDval rdd = sc.parallelize(List((1,1),(2,1),(3,1),(3,4)))2. 转换算子【1】reduceByKey(func)含义：合并具有相同键的值。rdd.reduceByKey((x,y) => x+y).collect()代码解释：具有相同键....

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）（上）
文章 2022-02-17 来自：开发者社区

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系

RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。 RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resilient（弹性的）....

Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark缓存相关内容

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注