apache spark机制的相关内容

文章 2025-02-19 来自：开发者社区

【赵渝强老师】Spark RDD的缓存机制

Spark RDD通过persist方法或cache方法可以将计算结果的缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD才会被缓存在计算节点的内存中并供后面重用。下面是persist方法或cache方法的函数定义： def persist(): this...

文章 2023-12-20 来自：开发者社区

【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解（图文解释）

一、RDD的概念RDD（Resilient Distributed Dataset），即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的I/O操作，提高数据处理的速度和性能。一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成....

文章 2023-10-10 来自：开发者社区

聊聊 Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法

1 问题现象多个Spark 作业并发更新同一张ORC表时，部分作业可能会因为某些临时文件不存在而失败退出，典型报错日志如下：org.apache.spark.SparkException: Job aborted. Caused by: java.io.FileNotFoundException: File hdfs://kxc-cluster/user/hive/warehouse/hstes....

文章 2023-07-29 来自：开发者社区

Spark RDD 机制理解吗？RDD 的五大属性，RDD、DataFrame、DataSet 三者的关系，RDD 和 DataFrame 的区别，Spark 有哪些分区器【重要】

一、Spark RDD 机制：【重要】RDD（Resilient Distributed DataSet）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型，也是 Spark 进行高并发和高吞吐的数据处理三大数据结构之一，所有的算子都是基于 RDD 来执行的，不同的场景有不同的 RDD 实现类，他们互相之间可以进行转换，来实现特定的需求。RDD 代表一个弹性、可分区、不可变、里面的元素....

文章 2023-06-05 来自：开发者社区

Spark 缓存和检查点机制

Spark 缓存和检查点是提高 Spark 性能的两个重要机制。 Spark 缓存机制 Spark 支持将RDD数据缓存在内存中，在后续的操作中直接使用缓存中的数据，避免了重复计算和频繁读写磁盘的开销。Spark 缓存机制主要包括以下几种方法： persist() 和 cache()：手动对RDD进行缓存，在RDD被标记后&#...

文章 2023-01-14 来自：开发者社区

spark2.2以后版本任务调度将增加黑名单机制

spark2.2中在任务调度中，增加了黑名单机制，提高了资源分配的效率。不同条件分别会将executors和整个节点加入黑名单。但是加入黑名单，也是有时间限制的，我们可以自定义时间，超过了这个时间，将会被资源管理器回收。对于如何配置，大家可参考下面。配置属性黑名单机制配置属性有哪些？明确的是第一个属性spark.blacklist.enabled，后面标有试验属性的，spark2.2还在测试阶段....

文章 2022-12-30 来自：开发者社区

Spark之Shuffle机制及其文件寻址详解

Spark之Shuffle机制及其文件寻址详解一、SparkShuffle概念Certain operations within Spark trigger an event known as the shuffle. The shuffle is Spark’s mechanism for re-distributing data so that it’s grouped differentl....