文章 2024-08-26 来自:开发者社区

Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术

问题一:Flink在内部使用的未来规划,以及接下来有哪些打算贡献社区的创新技术? Flink在内部使用的未来规划,以及接下来有哪些打算贡献社区的创新技术? 参考回答: 公司计划在未来继续深化Flink在内部业务中的应用,并计划将在流式数仓、实时机器学习等领域的创新技术贡献给开源社区。 关于本问题的更多回答可点击原文查看: ht...

文章 2024-08-26 来自:开发者社区

Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持

问题一:Pravega和Flink社区近期有哪些合作成果? Pravega和Flink社区近期有哪些合作成果? 参考回答: Pravega和Flink社区共同发布了白皮书,并期望未来有更多合作,将Flink计算推向数据的产生端,通过Pravega实现数据从端到云的流动。 关于本问题的更多回答可点击原文查看: https://d...

文章 2024-08-26 来自:开发者社区

Serverless 应用的监控与调试问题之Pravega和Flink实现端到端的auto-scaling要如何操作

问题一:Pravega作为开源分布式流存储有哪些主要特点? Pravega作为开源分布式流存储有哪些主要特点? 参考回答: Pravega作为开源分布式流存储的主要特点包括:相同键值下可以保证数据有序、可以根据数据流量动态扩缩存储单元、支持事务性写入、支持Checkpointing和一致性读写、分层存储设计。 ...

Serverless 应用的监控与调试问题之Pravega和Flink实现端到端的auto-scaling要如何操作
文章 2024-08-26 来自:开发者社区

Serverless 应用的监控与调试问题之Flink流式数仓对于工商银行的数据链路要如何简化

问题一:Flink OLAP在字节内部测试的表现如何? Flink OLAP在字节内部测试的表现如何? 参考回答: Flink OLAP能力在字节内部测试过可以媲美Presto,甚至在有些情况下更优。 关于本问题的更多回答可点击原文查看: https://developer.aliyun.com/ask/672018 ...

Serverless 应用的监控与调试问题之Flink流式数仓对于工商银行的数据链路要如何简化
文章 2024-08-26 来自:开发者社区

Serverless 应用的监控与调试问题之Flink流批一体在架构层面有什么演进

问题一:Flink流批一体在架构层面有哪些演进? Flink流批一体在架构层面有哪些演进? 参考回答: 在架构层面,Flink流批一体的演进包括同一个作业可以同时处理有限数据集和无限数据集;connector框架可以同时对接流式存储和批式存储,做到一套代码可以处理两套数据源;运行层面,一套调度框架可以同时适用于流和批的作业;流批shuffle是plug...

Serverless 应用的监控与调试问题之Flink流批一体在架构层面有什么演进
文章 2024-08-26 来自:开发者社区

Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决

问题一:Flink容错架构的核心是什么? Flink容错架构的核心是什么? 参考回答: Flink容错架构的核心是Checkpointing机制,即定期给所有的算子状态做快照检查点(Checkpoint)。如果Flink作业失败,作业会从上一个完整的Checkpoint恢复。 ...

Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
问答 2024-07-29 来自:开发者社区

如何通过监控来定位和处理Flink作业中的反压问题?

如何通过监控来定位和处理Flink作业中的反压问题?

问答 2024-02-14 来自:开发者社区

怎么监控 flink cdc反压 告警吗?

Flink CDC中,有人监控 flink 反压告警吗?

阿里云文档 2023-12-27

Flink监控服务ARMS Prometheus计费模式变更_实时计算 Flink版(Flink)

自2023年12月8日起,实时计算Flink版对接ARMS Prometheus新版计费模式,可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。

文章 2023-10-09 来自:开发者社区

没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现

前言大家好,我是明哥!在前段时间的一篇博文中,笔者分析了 flink standalone 模式且不能使用 hdfs 场景下的各种问题及其应对方案,当时明确指出,在只能使用本地文件系统的情况下,flink job manager 是没有办法做到 HA 高可用的,因为没有一个分布式共享存储来提供多个job manager需要共享的状态信息,如已经提交的作业的JobGraph等信息。michaell....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等