问答 2023-06-11 来自:开发者社区

我遇到个奇怪的Flink CDC问题。我现在按天统计订单数量。但是发现昨天的订单会被统计进今天?

问题1:我遇到个奇怪的Flink CDC问题。我现在按天统计订单数量。但是发现昨天的订单会被统计进今天? 比如我昨天是5单,今天是1单,但是统计到今天变成了6单,有大佬,同僚遇到过这个问题吗?insert into static_pay_order_cur(id, order_amount, order_count) select cast(replace(cast(current_date a....

问答 2023-06-04 来自:开发者社区

Flink CDC 能保证执行顺序吗?比如我订单表有流过来了,但是商品表流还没过来,导致订单找不到商

Flink CDC 能保证执行顺序吗?比如我订单表有流过来了,但是商品表流还没过来,导致订单找不到商品,这种情况怎么解决?我把商品表的cdc放在订单表的cdc上面,可以解决这个问题吗?cdc也需要时间吧 我怎么保证商品表全部加载过来了呢?

问答 2023-05-29 来自:开发者社区

Flink CDC中千万数据的mysql 订单表和 10万数据的商品表 用 flinksql同步到?

问题1:Flink CDC中千万数据的mysql 订单表和 10万数据的商品表 用 flinksql同步到 一个大宽表的时候taskheap内存占用越来越多 同步到 几十万数据的时候内存就占满了。又遇到过的吗? 问题2: INSERT INTO p_enriched_order SELECT o.,p. FROM p_code_order AS o LEFT JOIN p_product AS ....

问答 2023-02-27 来自:开发者社区

Flink CDC样例中关联订单数据并且将其写入 Elasticsearch 中这一步报错是缺少了什

Flink CDC样例中关联订单数据并且将其写入 Elasticsearch 中这一步报错是缺少了什么东西吗?

问答 2022-07-01 来自:开发者社区

大佬们有没有遇到过这种情况?就是我们用FlinkSQL实时计算订单数据,有时候出现一个订单两个子单的

大佬们有没有遇到过这种情况?就是我们用FlinkSQL实时计算订单数据,有时候出现一个订单两个子单的时候,这两个子单只有其中一个被计算完输出到结果表里,另一个子单莫名的没了。。。如果我重启FlinkSQL任务,无状态启动,重刷所有数据,这俩子单就又可以输出了。针对这种情况哪位大佬有啥好办法排查么?

文章 2022-02-17 来自:开发者社区

实时计算Flink > 快速入门 —— 步骤一:购买订单,绑定订单创建项目

本文档主要介绍如何购买订单,绑定订单,创建项目。 操作详情 请您参看如何购买。 注意: 在您开通实时计算服务时,主账号需要授予一个名称为AliyunStreamDefaultRole的系统默认角色给实时计算的服务账号。当且仅当该角色被正确授予后,实时计算才能正常地调用相关服务。, 实时计算必须提前进行角色授权,否则后续不能正常运行。 本文转自实时计算——步骤一:购买订单,绑定订单...

文章 2021-12-10 来自:开发者社区

Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单(下)

public class VideoOrderSourceV2 extends RichParallelSourceFunction<VideoOrder> { private volatile Boolean flag = true; private Random random = new Random(); private static List<V...

Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单(下)
文章 2021-12-10 来自:开发者社区

Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单(上)

Flink的状态与容错是这个框架很核心的知识点。其中一致检查点也就是Checkpoints也是Flink故障恢复机制的核心,这篇文章将详细介绍Flink的状态管理和Checkpoints的概念以及在生产环境中的参数设置。什么是State状态?在使用Flink进行窗口聚合统计,排序等操作的时候,数据流的处理离不开状态管理是一个Operator的运行的状态/历史值,在内存中进行维护流程:一个算子的子....

Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单(上)
问答 2021-12-07 来自:开发者社区

flink 结合canal统计订单gmv

hi 你好 需要用flink 解析mysql的binlog 统计订单表 产品维度的gmv, 但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv,如下图 返回的是一个list的订单集合,但是我想取每个订单里面的产品id进行维度统计 ,请问flink 有什么算子 可以把一个list数据的流数据 变成多条流 谢谢*来自志愿者整理的....

文章 2020-06-17 来自:开发者社区

flink实战 —— 定时器实现已完成订单自动五星好评

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 背景需求 在电商领域会有这么一个场景,如果用户买了商品,在订单完成之后,24小时之内没有做出评价,系统自动给与五星好评,我们今天主要使用flink的定时器来简单实现这一功能。 案例详解 自定义source 首先我们还是通过自定义source来模拟生成一些订单数据。在这里,我们生了一个最简单的二元.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问