文章 2024-10-19 来自:开发者社区

分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例

背景 在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。 使用场景 分布式锁服务在多种场景下都有广泛的应用。例如: ...

问答 2024-07-11 来自:开发者社区

仅对指定的表事件进行解析 , 我在Flink哪里去指定表事件?

scan.only.deserialize.captured.tables.changelog.enabled 仅对指定的表事件进行解析 , 我在Flink哪里去指定表事件?

问答 2023-11-06 来自:开发者社区

想解析MySQL ddl语句,Flink CDC有没有什么工具方法呢?

想解析MySQL ddl语句,Flink CDC有没有什么工具方法呢?

文章 2023-08-22 来自:开发者社区

大数据技术解析:Hadoop、Spark、Flink和数据湖的对比

随着数字化时代的到来,数据已经成为企业和组织的重要资产之一。为了更好地处理、分析和挖掘海量数据,大数据技术逐渐崭露头角。在本文中,我们将深入探讨大数据处理领域中的一些关键技术,包括 Hadoop、Spark、Flink 和数据湖,分析它们的优势、劣势以及适用场景。 Hadoop Hadoop 是一个开源的分布式计算框架,旨在处理大规模数据。它的核心组件包括分布式文件系统 HDFS 和 M...

大数据技术解析:Hadoop、Spark、Flink和数据湖的对比
问答 2022-12-16 来自:开发者社区

如何解析Flink作业所依赖服务的域名

如何解析Flink作业所依赖服务的域名

文章 2022-09-02 来自:开发者社区

技术解析|Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入

本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交,实现 MySQL 数据库分库分表实时高效接入,并实现 Exactly Once。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题,我们通常采用分库分表的方式对库表进行拆分,以达到提高系统的吞吐量。但是这样给后面数据分析带来了....

技术解析|Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入
问答 2022-08-26 来自:开发者社区

这个错误大家遇到过吗 ?怎么办?用timestamp(3)类型解析mysql cdc flink 1

这个错误大家遇到过吗 ?怎么办?用timestamp(3)类型解析mysql cdc flink 1.14.5 cdc 2.2.1,debezium解析

文章 2022-02-17 来自:开发者社区

深入解析 Flink 细粒度资源管理

摘要:本文整理自阿里巴巴高级开发工程师郭旸泽 (天凌) 在 Flink Forward Asia 2021 的演讲。主要内容包括:细粒度资源管理与适用场景Flink 资源调度框架基于 SlotSharinGroup 的资源配置接口动态资源切割机制资源申请策略总结与未来展望FFA 2021 直播回放 & 演讲 PDF 下载一、细粒度资源管理与适用场景在 Flink1.14 之前,使用的是一....

深入解析 Flink 细粒度资源管理
文章 2022-02-17 来自:开发者社区

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录:Apache Flink 应用程序中的 Exactly-Once 语义Flink 应用程序端到端的 Exactly-Once 语义示例 Flink 应用程序启动预提交阶段在 Flink 中实现两阶段提交 Operator总结Apache Flink 自2017年12月发布的1.4.0版本开始,为流计算引入了一个重要的里程碑特性:TwoPhaseCommitSinkFunction(相关....

文章 2020-11-11 来自:开发者社区

深入解析 Flink 的算子链机制

“为什么我的 Flink 作业 Web UI 中只显示出了一个框,并且 Records Sent 和Records Received 指标都是 0 ?是我的程序写得有问题吗?”Flink 算子链简介笔者在 Flink 社区群里经常能看到类似这样的疑问。这种情况几乎都不是程序有问题,而是因为 Flink 的 operator chain ——即算子链机制导致的,即提交的作业的执行计划中,所有算子的....

深入解析 Flink 的算子链机制

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注