问答 2025-05-06 来自:开发者社区

flink用rocksdb作为状态后端,taskmanager重启后rocksdb目录文件会被清空

flink使用rocksdb作为状态后端,当taskmanager重启后,rocksdb中的文件会被清空,是正常的吗?flink.conf关键配置如下: execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATIONexecution.checkpointing.max-concurrent-ch....

文章 2024-08-26 来自:开发者社区

联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行

问题一:如何进行端到端的时延监控? 如何进行端到端的时延监控? 参考回答: 通过事件时间的打标(如进出Kafka时间),结合抽样方式计算算子的延迟,以及监控Kafka offset的积压断传来实现端到端时延监控。 关于本问题的更多回答可点击原文查看: https://developer.aliyun.com/ask/67081...

问答 2024-08-12 来自:开发者社区

使用RocksDB作为Flink状态后端相比1.0版本有哪些优势?

使用RocksDB作为Flink状态后端相比1.0版本有哪些优势?

问答 2024-07-29 来自:开发者社区

Flink状态后端数据量较大时,如何进行问题排查?

Flink状态后端数据量较大时,如何进行问题排查?

问答 2024-07-29 来自:开发者社区

Flink的状态后端在平台中是如何应用的?

Flink的状态后端在平台中是如何应用的?

文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之使用状态后端存储和恢复作业的状态时,如何配置状态后端

问题一:Flink CDC 消费 到的binlog可能会是乱序嘛? Flink CDC 消费 到的binlog可能会是乱序嘛? 参考答案: Flink CDC在采集binlog的增量数据时,源端的binlog通常是有序的。然而,在后续传输过程中,可能会出现乱序的现象。不过,你不必担心,因为Flink提供了一些机制来保证数据的有序性。例如,你可以解析bi...

实时计算 Flink版产品使用问题之使用状态后端存储和恢复作业的状态时,如何配置状态后端
问答 2024-06-11 来自:开发者社区

Flink State状态后端类型

Flink State状态后端类型

问答 2024-05-01 来自:开发者社区

Flink CDC里阿里云的oss作为flink的状态后端配置,有大佬知道怎么用吗?

Flink CDC里阿里云的oss作为flink的状态后端配置,有大佬知道怎么用吗?state.backend: rocksdbstate.checkpoints.dir: oss://your-bucket/flink/checkpointsfs.oss.accessKeyId: your-access-key-idfs.oss.accessKeySecret: your-access-key....

问答 2024-04-10 来自:开发者社区

java flink + kafka,后端状态放hdfs后,每次重启服务,又从最早的消息开始消费问题

java flink + kafka,后端状态放hdfs后,每次重启服务,又从最早的消息开始消费,不是每次会提交检查点到hdfs吗,重启后,不应从最新的检查点开始处理么?

问答 2024-03-06 来自:开发者社区

flink的状态后端用rockdbs性能怎么样?我目前用内存做状态存储,到我状态太大了,上百G了。

flink的状态后端用rockdbs性能怎么样?我目前用内存做状态存储,到我状态太大了,上百G了。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"稳定、灵活、高效:阿里云赋能前后端分离架构升级","productDescription":"本方案为您介绍如何利用阿里云实现业务的前后端分离架构升级,帮助您在简化复杂度和降低成本的同时,全面提升系统的稳定性、扩展性和敏捷性,轻松应对架构转型。","productContentLink":"https://www.aliyun.com/solution/tech-solution/the-headless-architecture-solution-of-alibaba-cloud","isDisplayProductIcon":true,"productButton1":{"productButtonText":"方案详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/the-headless-architecture-solution-of-alibaba-cloud"},"productButton2":{"productButtonText":"方案部署","productButtonLink":"https://help.aliyun.com/document_detail/2866912.html"},"productButton3":{"productButtonText":"查看更多技术解决方案","productButtonLink":"https://www.aliyun.com/solution/tech-solution/"},"productPromotionInfoBlock":[{"productPromotionGroupingTitle":"解决方案推荐","productPromotionInfoFirstText":"10分钟搭建微信小程序","productPromotionInfoFirstLink":"develop-your-wechat-mini-program-in-10-minutes","productPromotionInfoSecondText":"低代码高效构建企业门户网站","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/build-a-website"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}

Java后端技术

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等