文章 2024-08-22 来自:开发者社区

Flink SQL 在快手实践问题之Group Window Aggregate 中的数据倾斜问题如何解决

问题一:数据倾斜在实时计算中可能带来哪些问题? 数据倾斜在实时计算中可能带来哪些问题? 参考回答: 数据倾斜在实时计算中可能带来指标延迟或数据事故等问题。当实时计算任务遇到数据倾斜时,部分节点可能会处理过多的数据,导致处理速度下降,进而影响整个任务的完成时间和数据准确性。 关于本问题的更多问答可点击原文查看: https://...

问答 2024-07-23 来自:开发者社区

Flink SQL 如何解决 Group Window Aggregate 中的数据倾斜问题?

Flink SQL 如何解决 Group Window Aggregate 中的数据倾斜问题?

阿里云文档 2024-07-16

GroupAggregate变更兼容性

本文为您介绍Group Aggregate变更的可兼容性和不可兼容性详情。

阿里云文档 2024-07-11

GroupWindowAggregate变更兼容性

本文为您介绍Group Window Aggregate变更的可兼容性和不可兼容性详情。

问答 2022-12-09 来自:开发者社区

大家flink sql 选择 group-offset 新的group 会报错吗?

大家flink sql 选择 group-offset 新的group 会报错吗?

问答 2022-07-11 来自:开发者社区

请问在flink sql-client中进行做group by 聚合值统计的时候,流式查询时是怎么计

请问在flink sql-client中进行做group by 聚合值统计的时候,流式查询时是怎么计算的?是每次都把所有历史明细数据聚合一次吗?

问答 2022-02-15 来自:开发者社区

flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

Hi,社区的各位大家好: 我目前生产上面使用的是1.8.2版本,相对稳定 为了能够用sql统一所有相关的作业,同时我也一直在跟着flink最新版本进行研究, 截止目前先后研究了1.10.1 1.11.1共2个大版本 在尝试使用的过程中,我发现了通过程序,使用sql进行group操作时,checkpoint中的数据量一直在缓慢增加 状态后端使用的是rocksdb 的增量模式 StateBacke.....

问答 2021-12-08 来自:开发者社区

Flink SQL中的GROUP BY的作用及示例有什么?

Flink SQL中的GROUP BY的作用及示例有什么?

问答 2021-12-06 来自:开发者社区

Flink SQL GROUP BY后写入postgresql数据库主键如何实现业务场景需求呢?

SQL中对时间窗口和PRODUCT_ID进行了Group By聚合操作,PG数据表中的主键须设置为WINDOW_START /WINDOW_END和PRODUCT_ID,否则无法以upinsert方式写出数据,但是这样却无法满足业务场景的需求,业务上应以RANK_ID +WINDOW_START /WINDOW_END为主键标识,请问Flink 中该如何实现这个需求?*来自志愿...

问答 2021-12-02 来自:开发者社区

Flink SQL将group聚合的数据写入到HBase表报primary keys问题

各位好,  最近在研究Flink Hbase连接器,测试实验是将聚合的数据写入到hbase报错。希望能得到各位的帮助。代码 如下:  /**  @Author: ellis.guan  @Description: HBase测试类  @Date: 2020/3/6 15:41  @Version: 1.0  */  p...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注