Spark、Kafka - 实时计算现在提到实时计算，可能大家首先会想到flink。的确，flink在开源实时领域方面绝对算是TOP了。18年的时候，实时处理还是SparkStreaming应用的比较广泛。所以当时我安装的是Spark集群，来模拟的实时计算。其实Spark/flink集群都是可以不搭建的，在Spark集群上运行程序属于standlone模式，如果使用yarn模...

文章 2024-07-04 来自：开发者社区

大数据平台之Spark

Apache Spark 是一个开源的分布式计算系统，主要用于大规模数据处理和分析。它由UC Berkeley AMPLab开发，并由Apache Software Foundation维护。Spark旨在提供比Hadoop MapReduce更快的处理速度和更丰富的功能，特别是在处理迭代算法和交互式数据分析方面。以下是Spark的详细介绍：核心概念 Resilient Dis...

文章 2023-07-12 来自：开发者社区

大数据平台搭建（容器环境）——Spark3.X on Yarn安装配置

Spark3.X on Yarn安装配置一、解压 1. 将Spark包解压到路径/opt/module路径中 tar -zxvf /opt/software/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/module/ 2. 改名（可不做） mv spark-3.1.1-bin-hadoop3.2/ spark-3.1.1-yarn 二、配置 1....

问答 2022-12-07 来自：开发者社区

开源大数据平台E-MapReduce从Spark导入数据至ClickHouse

文章 2019-11-06 来自：开发者社区

Cloudera-manager(CDH6.3.0)大数据平台搭建一指禅(impala,kudu,hdfs,hive,kafka,yarn,spark,hbase,hue)

Cloudera-manager(CDH6.3.0)大数据平台搭建一指禅指南(impala,kudu,hdfs,hive,kafka,yarn,spark,hbase,hue) CHD6，大量hadoop生态的重大更新升级，果断把现有系统升级到CHD6上。准备： 192.168.88.31 master--》机器名修改为:manager 还是重复的master把 192.1...

共有13条

< 1 2 >

跳转至： GO

更新时间 2024-10-17 09:07:34

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注