阿里云文档 2025-02-08

部署作业

完成作业开发后,您需要将作业部署。部署将开发和生产隔离,部署后不影响运行中的作业,只有(重新)启动后才会正式上线运行。本文为您介绍如何部署SQL作业、YAML、JAR作业和Python作业。

阿里云文档 2025-01-24

作业部署与启动常见问题

本文为您介绍作业部署与启动有关的常见问题。

阿里云文档 2024-12-23

开发及部署基于Hologres连接器的 Flink DataStream作业

Hologres与Flink全托管高度兼容,多数情况下您可以使用Flink SQL的方式,声明Hologres的源表、维表及结果表,进而使用SQL表达数据的处理逻辑。但对于特殊业务场景,Flink SQL方式无法满足业务计算时,您需要使用DataStream的方式读写数据。本文以VVR-8.0.8-Flink-1.17版本为例,为您完整地展示如何调试和开发基于Hologres连接器的DataStr...

阿里云文档 2024-09-12

Paimon数据管理配置

为了确保在实时计算开发控制台中更加高效且灵活地管理和操作Paimon表(合并小文件、数据排序等特定任务等),您需要提前配置相关工具包。本文为您介绍如何在实时计算开发控制台中完成这一配置过程,助力您更轻松管理Paimon表数据。

文章 2024-02-25 来自:开发者社区

Flink部署问题之committedOffsets指标为负值如何解决

问题一:RocksDBKeyedStateBackend如何写磁盘 请问RocksDBKeyedStateBackend是何时将state序列化到磁盘的, 窗口结束时间?还是配置的checkpoint周期,谢谢*来自志愿者整理的flink邮件归档 参考答案: 看到 RocksDBWriteBatchWrapper类有 flushIfNeeded()方法...

文章 2024-02-25 来自:开发者社区

Flink部署问题之条件筛选失败如何解决

问题一:yarn部署模式kerberos问题 最近使用flink-1.11.1在通过per-job方式提交任务到yarn队列的时候,碰到了kerberos权限认证问题。 具体描述:在客户端通过Kerberos权限认证指定用户,提交flink任务到yarn队列,正常提交,但是当任务被yarn分配到指定节点进行执行时,根据报错信息来看,是因为需要操作hdfs(创建检查点目录和保存点目...

文章 2024-02-25 来自:开发者社区

Flink部署问题之不支持SupportsFilterPushDown如何解决

问题一:Flink 1.11版本LeaseRenewer为什么线程不释放? 在生产中发现有个别Flink SQL 1.11作业的container线程数很高,查看Thread Dump发现有很多名为LeaseRenewer 的线程处于TIMED_WAITING状态,目前只能复现其现象,但是无法定位原因,不知道社区是否有类似经历的小伙伴呢? Flink version: 1...

文章 2024-02-25 来自:开发者社区

Flink部署问题之jobid不变如何解决

问题一:flink 1.12如何使用RateLimiter 在源码中找到 FlinkConnectorRateLimiter 和 GuavaFlinkConnectorRateLimiter kafka相关的类中没有找到这些配置 请问如何在api中使用RateLimiter(不修改源码方式) *来自志愿者整理的flink邮件归档 参考答案: 您好 请问...

阿里云文档 2023-09-03

如何使用云速搭部署Flink应用_云速搭(CADT)

通过云速搭实现一个 DataHub+Flink 的实时流计算引擎架构,利用 DataHub 收集原始数据,推送到 Flink 进行基于流式数据的分析和应用。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注