文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一第3章 深入剖析Apache Spark

第3章 深入剖析Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API:DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们有必要了解 RDD 的更深层概念,包括运行时的架构和它在 Spark 各种资源管理器上的表现。本章分为以下子主题:启动 Spark 守护进程S.....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一2.5 小结

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.5节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.5 小结 Apache Hadoop 提供了一个用于大数据存储的可靠且可扩展的框架(HDFS),以及一个用于运行和管理多个大数据应用程序的强大集群资源管理框架(YARN)。Apache Spark 提....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一2.4 安装 Hadoop 和 Spark 集群

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.4节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.4 安装 Hadoop 和 Spark 集群 在安装 Hadoop和Spark之前,让我们来了解一下 Hadoop和Spark的版本。在 Cloudera、Hortonworks和MapR这所有三种流....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一2.3 为何把 Hadoop 和 Spark 结合使用

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.3节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.3 为何把 Hadoop 和 Spark 结合使用 Apache Spark 与 Hadoop 结合使用时表现更好。为了理解这一点,让我们来看看 Hadoop 和 Spark 的特性。2.3.1 Ha....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.2节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 Apache Spark概述 Hadoop和MR已有10年历史,已经被证明是高性能处理海量数据的最佳解决方案。然而,MR在迭代计算中性能不足,在这种情况下,多个MR作业之间的输出必须被写入 HDF....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一2.1 Apache Hadoop概述

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.1节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架,可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理。Apache Hadoop 集群可以使用故障率一般较高的....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一第2章 Apache Hadoop和Apache Spark入门

第2章 Apache Hadoop和Apache Spark入门 在本章,我们将学习 Hadoop 和 Spark 的基本知识,了解 Spark 与 MapReduce 有哪些不同,并开始安装集群和设置分析所需的工具。本章分为以下几个子主题:介绍 Apache Hadoop介绍 Apache Spark讨论为什么要配套使用 Hadoop 和 Spark安装 Hadoop 和 Spark 集群

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一1.5 小结

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章,第1.5节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.5 小结 使用Hadoop和Spark的大数据分析大致分为两大类:数据分析和数据科学。数据分析侧重于过去和现在的统计,而数据科学侧重于未来的统计。数据科学项目本质上是迭代的,而数据分析项目则不是迭代的....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一1.4 实际环境中的用例

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章,第1.4节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4 实际环境中的用例 让我们来看看大数据分析用例的不同类型。总体而言,大数据分析用例可以分为以下 5 类:客户分析:数据驱动的客户分析对于深化客户关系和提高收入很有必要。运营分析:性能和高质量服务是维....

文章 2017-07-03 来自:开发者社区

《Spark与Hadoop大数据分析》一一

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章,第1.3节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.3 工具和技术 让我们来看看在 Hadoop 和 Spark 中用于大数据分析的不同工具和技术。虽然 Hadoop 平台可以用于存储和处理数据,但 Spark 只能通过将数据读入内存来进行处理。下表展....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等