文章 2024-08-19 来自:开发者社区

实时计算 Flink版产品使用问题之怎么手动清理缓存或废弃文件

问题一:flink任务重启时 指定从6月5号某时开始执行,但数据看不到这段时间的是怎么回事? flink任务重启时 指定从6月5号某时开始执行,但数据看不到这段时间的是怎么回事? 参考答案: Flink任务重启通常不会从特定时间点开始重新处理数据,而是从故障点或检查点恢复。若要处理特定时间点的历史数据,您需要配置状态恢复和时间戳/水印策略。检查作业配置...

实时计算 Flink版产品使用问题之怎么手动清理缓存或废弃文件
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之在进行数据同步时,修改了YAML文件以增加新的同步表并取消了之前的同步任务,如何从之前的检查点继续执行

问题一:flink cdc 3.0 使用pipeline方式同步数据,中断任务后怎么继续之前的任务断点? flink cdc 3.0 使用pipeline同步数据时,如果改动yaml文件已增加新的同步表,取消了之前的同步任务,修改后的任务怎么继续之前的检查点。现在是每次重新提交任务都会重新处理一遍之前同步过程。 参考答案: 在使用 Flink CDC ...

文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之假如mysql的binlog有很多个文件,按什么顺序扫描

问题一:在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到吗? 在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到,但是在生产上的mysql表就不能,还有对于新增字段,这边是用api整条数据同步的,测试环境也能同步到,生产上新增字段的数据竟然也不能同步到,这是和mysql的配置有关么?这样就不支持在扩大采集库的范...

实时计算 Flink版产品使用问题之假如mysql的binlog有很多个文件,按什么顺序扫描
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之把hdfs集群里的core-site.xml hdfs.xml两个文件放到flink/conf/目录下,启动集群说找不到hdfs,该如何解决

问题一:有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗? 有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗? 参考答案: 可以,没影响 关于本问题的更多回答可点击进行查看: https://developer.aliyun....

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之如何指定FlinkYarnSession启动的properties文件存放位置

问题一:flink 这个缓存受table.exec.state.ttl 这个参数控制吗? flink sql 里面的row number 取topn,这个缓存受table.exec.state.ttl 这个参数控制吗? 参考答案: Flink SQL中的row number取topn操作不受table.exec.state.ttl参数控制。 t...

实时计算 Flink版产品使用合集之如何指定FlinkYarnSession启动的properties文件存放位置
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之在运行过程中产生临时文件,如何将这些临时文件存储到其他位置

问题一:Flink的tmp的这个目录产生临时文件很大,我想配置到外面,有配置项可以配置吗? Flink的tmp的这个目录产生临时文件很大,我想配置到外面,有配置项可以配置吗? 参考答案: io.tm...

实时计算 Flink版产品使用合集之在运行过程中产生临时文件,如何将这些临时文件存储到其他位置
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之tm的临时文件保存路径可以用哪个配置项

问题一:Flink可以抽取视图吗? Flink可以抽取视图吗? 参考答案: 在Flink中,您可以抽取视图。首先,需要在数据库中创建视图,并确保视图可以被查询。视图可以基于一个或多个表,也可以嵌套其他视图。然后,通过Flink的CDC(Change Data Capture)功能,可以实现对数据库视图的数据抽取。具体来说,Flink CDC是一种基于数...

实时计算 Flink版产品使用合集之tm的临时文件保存路径可以用哪个配置项
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之从指定的MySQLbinlog文件读取数据并写入本地文件,但发现任务已经对指定的binlog文件做完检查点并开始处理下一个binlog文件,该怎么处理

问题一:Flink CDC这日志怎么删除? Flink CDC这日志怎么删除? 参考答案: 这是job任务打印出来了吧,日志级别修改为warn,看看程序里面是不是print了 ...

实时计算 Flink版产品使用合集之从指定的MySQLbinlog文件读取数据并写入本地文件,但发现任务已经对指定的binlog文件做完检查点并开始处理下一个binlog文件,该怎么处理
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之在同步MySQL的时候卡在某个binlog文件处如何解决

问题一:Flink CDC有没有遇到过同步MySQL一直卡在某个binlog文件? Flink CDC有没有遇到过同步MySQL一直卡在某个binlog文件?数据库已经确认后续的binlog都生成了 io 日志: io.debezium.connector.mysql.MySqlStreamingChangeEventSource [] - Stopped re...

实时计算 Flink版产品使用合集之在同步MySQL的时候卡在某个binlog文件处如何解决
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之日志文件快速增长如何解决

问题一:Flink CDC同步开源的那个postgresql数据库有碰到这个情况的不? Flink CDC阿里云基于postgresql做的polardb我用flink 2.2 postgresql 连接器做同步。查询polardb的slot显示没有消费,但是我kafka显示收到了数据。这导致wal日志持续增加且不删除。同步开源的那个postgresql数据库有碰到这个情况的不...

实时计算 Flink版产品使用合集之日志文件快速增长如何解决

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注