文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控

问题一:flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,这是不是会导致内存浪费? flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,并物理的大小不变,这是不是会导致内存浪费?它是会改变所有的subtask的buffer大小吗?还是只有某个subtask? 参考答案: Flink 1.14的网络缓存消胀机...

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控
问答 2024-01-04 来自:开发者社区

请教一下,flink on yarn模式下,怎么对job作业进行指标监控?

请教一下,flink on yarn模式下,怎么对job作业进行指标监控?

阿里云文档 2022-12-29

概述Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业也会终止。详细信息Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业任务也会终止或者关闭。适用于Dataphin公共云V3.5.6

问答 2022-02-15 来自:开发者社区

请教on yarn per job 作业如何采集日志进行监控方案

原本作业基本处于半裸奔的状态,最近线上出了一次小事故后,在考虑如何实时采集作业日志或者metric再配置告警。 网上初步搜了一下,好像就是prometheus+grafana或者elk。 请教各位大佬的项目目前都是用什么方式,我们小公司就我一个人搞flink,半路出家水平也有限,请大佬们推荐个易维护坑少点的方式?谢谢。*来自志愿者整理的flink邮件归档

问答 2022-02-15 来自:开发者社区

请问flink on yarn模式, 怎么使用REST API接口对作业进行监控? 我想集成到自己的后台里 而不是在原本的web UI上查看

转自钉钉群21789141:请问flink on yarn模式, 怎么使用REST API接口对作业进行监控? 我想集成到自己的后台里 而不是在原本的web UI上查看

阿里云文档 2021-06-25

如何将MapReduce和Spark作业日志配置到JindoFS或OSS上

本文为您介绍如何将MapReduce和Spark作业日志配置到JindoFS或OSS上。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

阿里巴巴终端技术

阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等