文章 2024-08-29 来自:开发者社区

实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传

问题一:Flink CDC里假设我想实现的场景未来可以实现吗? Flink CDC里假设我想实现的场景是:将MySQL的商品信息以及统计商品的销量、热度等,同步到es,适合使用fink cdc吗?是同时监听商品表、订单表等相关表来实现实时同步吗? 参考答案: 参考这个case https://ververica.github.io/flink-...

实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之读取kafka数据然后入库到starrocks,出现未知问题如何解决

问题一:我刚刚看了一下Flink文档,好像没有哪里说支持动态topic,所以是不支持? 我刚刚看了一下Flink文档,好像没有哪里说支持动态topic,所以是不支持? 参考回答: 支持的,根据正则来匹配的,new FlinkKafkaConsume时,参数可以是正则匹配 关于本问题的更多回答可点击原文查看:https://develo...

问答 2024-02-26 来自:开发者社区

Flink CDC里我现在想postgresql 能实时入库 hive,并且能实现断点续传,怎么办?

Flink CDC里我现在想postgresql 能实时入库 hive,并且能实现断点续传,有什么好的建议吗?

文章 2024-02-25 来自:开发者社区

Flink查询问题之每秒入库到mysql数量很少如何解决

问题一:flink sql 读取mysql 版本:flink 1.10 mysql 5.7.24 需求场景是: 使用flink SQL,读取kafka数据,和mysql的维表数据,之后进行join操作,如何配置mysql connector,才能使维表数据修改后,flink能读取到更新后的数据进行join操作? 现在本地测试时,维表的DDL是: 但是去mysql修...

问答 2023-12-31 来自:开发者社区

Flink CDC用mysql的时间和doris的入库时间对比做延迟警告,靠谱吗?

Flink CDC用mysql的operation_ts的时间和doris的入库时间对比做延迟警告,靠谱吗?

问答 2023-11-22 来自:开发者社区

Flink CDC 我flink 读取kafka数据然后入库到starrocks不知道问题出在哪了?

Flink CDC 各位我flink 读取kafka数据然后入库到starrocksCREATE TABLE mall_activity ( id bigint, create_time TIMESTAMP, create_by bigint, create_by_name ...

问答 2023-09-07 来自:开发者社区

Flink CDC消费kafka,入库到doris,会把kafka的元数据时间戳存到doris?

Flink CDC消费kafka,入库到doris,会把kafka的元数据时间戳存到doris,doris有个默认时间字段,查看数据,doris的默认时间字段竟然比kafka元数据时间戳还要早个将近一秒,看了服务器没有时间差?

问答 2023-08-17 来自:开发者社区

flink 数据全量数据同步 太慢什么原因?入库速度 太慢?参数配置已经是最优,

USE CATALOG flink-test;CREATE TEMPORARY TABLE flink_datagen_sourcet_temp( dep_id INTEGER ,cus_id INTEGER ,bra_id INTEGER ,dept_id INTEGER ,status INTEGER ,PRIMARY KEY (dep_id)...

问答 2023-08-13 来自:开发者社区

Flink有用connect-jdbc做过数据的入库和删除,同一个对象数据,根据字段判断入库还是删?

Flink有用connect-jdbc做过数据的入库和删除,同一个对象数据,根据字段判断入库还是删除?

问答 2023-07-26 来自:开发者社区

请问flink mysql cdc 双流left join后再入库在目标表c没有删除呢?

"请问flink mysql cdc 双流left join后再入库mysql,insert into c select from a left join b,源表a某些数据删了,在目标表c没有删除呢?三个表都设置了主键。请问怎么解决?测试删除trans_detail的数据,在结果表里没有被删除,没有left join的话,能同步删除。INSERT INTO tr_flow_base_info_....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注