阿里云文档 2024-10-17

基于Flink搭建流式湖仓OpenLake方案

阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上,提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据,提供湖仓数据表和文件的安全访问及IO加速,并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎,通过流式数据湖仓Paimon(使用DLF 2.0存储)和分析型数据库StarRocks搭建流式...

阿里云文档 2024-06-04

Blink迁移到Flink

本文为您介绍阿里云实时计算Blink独享或共享集群(Blink计算引擎和Bayes开发平台)的业务迁移至实时计算Flink版时的迁移限制、迁移方案和常见问题。

高性能

基于 Flink CDC 打造企业级实时数据同步方案

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
阿里云文档 2024-06-04

如何将自建流式作业迁移至阿里云实时计算Flink版

本文为您介绍将自建开源Flink集群的流式作业(包含Table API、SQL和Datastream)迁移至阿里云实时计算Flink版的迁移优势、迁移方案和相关文档。

文章 2024-01-22 来自:开发者社区

基于 Flink CDC 打造企业级实时数据集成方案

CDC 数据实时集成的挑战首先介绍一下 CDC 技术,CDC 就是 Change Data Capture 的缩写,意思是变更数据捕获。如果有一个数据源的数据随着时间一直在变化,这种能够捕获变更数据的技术就称之为 CDC。但是在真正的业务生产实践过程中,通常说的 CDC 都是指面向数据库的变更,用于捕获数据库中某一张表业务,不断地写入的新数据、更新的数据、甚至删除的数据。我们在谈到捕获变更数据的....

基于 Flink CDC 打造企业级实时数据集成方案
阿里云文档 2023-12-27

SLB替换方案

为了给您提供更好的体验和节约成本,2023年9月8日起实时计算Flink版SLB替换方案分地域逐步上线,预计9月11日全地域完成替换。该替换方案旨在提供更高效的网络连接,以取代原先的负载均衡SLB服务。您新购实时计算Flink版时,无需再单独开通SLB服务。

文章 2023-11-29 来自:开发者社区

基于 Flink CDC 打造企业级实时数据集成方案

本文整理自阿里云智能 Flink 数据通道负责人,Flink CDC 开源社区负责人,Flink PMC Member & Committer 徐榜江在 2023 云栖大会开源大数据专场的分享。本篇内容主要分为三部分: 一、CDC 数据实时集成的挑战 二、Flink CDC 核心技术解读 三、基于 Flink CDC 的企业级实时数据集成方案 CDC 数据实时集成的挑战...

基于 Flink CDC 打造企业级实时数据集成方案
文章 2022-06-10 来自:开发者社区

Flink 任务实时监控最佳实践(Prometheus + Grafana)打造企业级监控方案

我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解....

Flink 任务实时监控最佳实践(Prometheus + Grafana)打造企业级监控方案

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注