Apache Storm 官方文档 —— 基础概念
Storm 系统中包含以下几个基本概念： 拓扑（Topologies） 流（Streams） 数据源（Spouts） 数据流处理组件（Bolts） 数据流分组（Stream groupings） 可靠性（Reliability） 任务（Tasks） 工作进程（Workers） 译者注：由于 Storm 的几个基础概念无论是直译还是意译均不够清晰，而且还会让习惯了 Storm 编程模型的读者...
Apache Storm 官方文档 —— 配置
Storm 有大量配置项用于调整 nimbus、supervisors 和拓扑的行为。有些配置项是系统级的配置项，在拓扑中不能修改，另外一些配置项则是可以在拓扑中修改的。 每一个配置项都在 Storm 代码库的 defaults.yaml 中有一个默认值。可以通过在 Nimbus 和 Supervisors 的环境变量中定义一个 storm.yaml 来覆盖默认值。最后，在使用...
Apache Storm 官方文档 —— 消息的可靠性保障
Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑： TopologyBuilder builder = n...
Apache Storm 官方文档 —— 命令行操作
本文介绍了 Storm 命令行客户端中的所有命令操作。如果想要了解怎样设置你的 Strom 客户端和远程集群的交互，请按照配置开发环境一文中的步骤操作。 Storm 中支持的命令包括： jar kill activate deactivate rebalance repl classpath localconfvalue remoteconfvalue nimbus supervisor u...
Apache Storm 官方文档 —— 理解 Storm 拓扑的并行度(parallelism)概念
一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（executors）和任务（tasks） 在一个 Storm 集群中，Storm 主要通过以下三个部件来运行拓扑： 工作进程（worker processes） 执行器（executors） 任务（tasks） 下面是他们之间相互关系的简单图示。 在 Worker 中运行的是拓扑的一个子集。一个 wor...
Apache Storm 官方文档 —— Trident 教程
Trident 是 Storm 的一种高度抽象的实时计算模型，它可以将高吞吐量（每秒百万级）数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具，你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结（join）、聚合（aggregation）、分组（grouping）、函数（function）以及过....
Apache Storm 官方文档 —— Trident API 概述
Trident 的核心数据模型是“流”（Stream），不过与普通的拓扑不同的是，这里的流是作为一连串 batch 来处理的。流是分布在集群中的不同节点上运行的，并且对流的操作也是在流的各个 partition 上并行运行的。 Trident 中有 5 类操作： 针对每个小分区（partition）的本地操作，这类操作不会产生网络数据传输； 针对一个数据流的重新分区操...
Apache Storm 官方文档 —— Trident State
Trident 中含有对状态化（stateful）的数据源进行读取和写入操作的一级抽象封装工具。这个所谓的状态（state）既可以保存在拓扑内部（保存在内存中并通过 HDFS 来实现备份），也可以存入像 Memcached 或者 Cassandra 这样的外部数据库中。而对于 Trident API 而言，这两种机制并没有任何区别。 Trident 使用一种容错性的方式实现对 state 的管.....
Apache Storm 官方文档 —— Trident Spouts
与一般的 Storm API 一样，spout 也是 Trident 拓扑的数据来源。不过，为了实现更复杂的功能服务，Trident Spout 在普通的 Storm Spout 之上另外提供了一些 API 接口。 数据源、数据流以及基于数据流更新 state（比如数据库）的操作，他们之间的耦合关系是不可避免的。Trident State 一文中有这方面的详细解释，理解他们之间的这种联系...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Apache官方文档相关内容
Apache您可能感兴趣
- Apache分离
- Apache性能
- Apache doris
- Apache榜单
- Apache incubating
- Apache seata
- Apache开源项目
- Apache开源
- Apache版本
- Apache acl
- Apache flink
- Apache配置
- Apache rocketmq
- Apache安装
- Apache php
- Apache dubbo
- Apache tomcat
- Apache服务器
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache kafka
- Apache从入门到精通
- Apache hudi
- Apache实践
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！
+关注