文章 2024-10-14 来自:开发者社区

大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
文章 2024-10-14 来自:开发者社区

大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
文章 2024-02-20 来自:开发者社区

【天衍系列 03】深入理解Flink的Watermark:实时流处理的时间概念与乱序处理

01 基本概念 Watermark 是用于处理事件时间的一种机制,用于表示事件时间流的进展。在流处理中,由于事件到达的顺序和延迟,系统需要一种机制来衡量事件时间的进展,以便正确触发窗口操作等。Watermark 就是用来标记事件时间的进展情况的一种特殊数据元素。 02 工作原理 Watermark 的生成方式通常是由系统根据数据流中的事件来自动推断生成的。一般来说,系统会...

文章 2024-01-18 来自:开发者社区

什么是Flink?请简要解释其概念和特点。

什么是Flink?请简要解释其概念和特点。Flink是一个开源的流处理和批处理框架,旨在处理大规模、高吞吐量的实时数据流和批量数据。它提供了一种高效、可靠、可扩展的方式来处理和分析实时数据,具有以下特点:事件驱动:Flink基于事件驱动的模型,可以实时处理和分析无界的数据流。它支持按照事件的发生顺序进行处理,并能够保证事件的完整性和顺序性。一致性处理:Flink提供了严格一次的状态一致性保证,可....

文章 2024-01-18 来自:开发者社区

Flink中的DataStream和DataSet有什么区别?请解释其概念和用途。

Flink中的DataStream和DataSet有什么区别?请解释其概念和用途。在Flink中,DataStream和DataSet是两种不同的数据处理模型,分别用于处理无界流数据和有界批量数据。DataStream:概念:DataStream是Flink中用于处理无界流数据的抽象概念。它表示一系列连续的、无限的数据记录流,可以是实时生成的数据,也可以是通过数据源(如Kafka、Socket等....

问答 2023-12-19 来自:开发者社区

Flink CDC中lceberg是也支持流式读取吧?非changelog概念但是也能用流处理对吗?

Flink CDC中lceberg是也支持流式读取吧?非changelog概念但是也能用流处理对吗?

文章 2023-10-11 来自:开发者社区

Flink--7、窗口(窗口的概念、分类、API、分配器、窗口函数)、触发器、移除器

                                                        &...

Flink--7、窗口(窗口的概念、分类、API、分配器、窗口函数)、触发器、移除器
问答 2023-10-04 来自:开发者社区

Flink CDC我在文档中没有发现对于cdc服务高可用的描述,是不是有全局竞争锁这种概念?

Flink CDC我在文档中没有发现对于cdc服务高可用的描述,也就是说我部署两个pod有没有问题,是不是有全局竞争锁这种概念?

文章 2023-09-13 来自:开发者社区

大数据Flink流处理相关概念

1 数据的时效性日常工作中,我们一般会先把数据存储在表,然后对表的数据进行加工、分析。既然先存储在表中,那就会涉及到时效性概念。如果我们处理以年,月为单位的级别的数据处理,进行统计分析,个性化推荐,那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果我们处理的是以天为级别,或者一小时甚至更小粒度的数据处理,那么就要求数据的时效性更高了。比如:对网站的实时监控、对异常日志的监控,这些场景需....

大数据Flink流处理相关概念
文章 2023-09-02 来自:开发者社区

Flink SQL 核心概念剖析与编程案例实战

本次,我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念,并附带完整的示例程序,希望对大家有帮助!本文大纲一、快速体验 Flink SQL为了快速搭建环境体验 Flink SQL,我们使用 Docker 来安装一些基础组件,包括 zk 和 kafka,如果你有这个环境,可以略过了。在 Centos 7 上安装 Docker 环境,具体见这个链接,此处就不细说了:https://....

Flink SQL  核心概念剖析与编程案例实战

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注