云原生大数据计算服务 MaxCompute学习概念的相关内容

文章 2024-10-18 来自：开发者社区

大数据体系知识学习（三）：数据清洗_箱线图的概念以及代码实现

箱线图介绍箱线图通过绘制数据的中位数、四分位数、最大值和最小值等信息，可以帮助检测数据中的异常值。在箱线图中，超出1.5倍四分位距的数据点被视为异常值。箱线图代码这段代码主要进行了以下几个操作：创建一个包含异常值的数据集。绘制这个数据集的箱线图。计算箱线图中的异常值。删除异常值。可视化删除异常值后的数据，并标出异常值。将异常值存入数组并打印出来。 import ...

文章 2023-09-24 来自：开发者社区

大数据学习的一些概念（值得背）

什么是数据分析就是把隐藏在数据背后的信息提炼出来，总结出内在规律，帮助更好的决策数据分析的三个方向现状分析（分析当下的数据）也叫实时分析，数据产生到数据分析的间隔非常短，数据是流式的不是批式原因分析（分析过去的数据）也叫离线分析，批处理，比如一周一分析、一天一分析，通过总结过去的数据找到一些现状的原因预测分析（预测未来的变化）也叫机器学习，利用当下和过去的数据，预测未来的变化。侧重于数学算法。数....

文章 2017-09-01 来自：开发者社区

《Spark与Hadoop大数据分析》——3.2　学习Spark的核心概念

3.2　学习Spark的核心概念在本节，我们要了解 Spark 的核心概念。Spark 提供的主要抽象是弹性分布式数据集（Resilient Distributed Dataset，RDD）。因此，我们要了解 RDD 是什么，以及提供内存级性能和容错的 RDD 中包含的运算。但是，首先我们要学习使用 Spark 的方法。 3.2.1　使用 Spark 的方法使用 Spark 有两种方法，即 ....

文章 2017-07-03 来自：开发者社区

《Spark与Hadoop大数据分析》一一3.2　学习Spark的核心概念

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.2节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.2　学习Spark的核心概念在本节，我们要了解 Spark 的核心概念。Spark 提供的主要抽象是弹性分布式数据集（Resilient Distributed Dataset，RDD）。因此，我们....