阿里云文档 2025-04-01

如何创建OSS-HDFS投递任务

OSS-HDFS服务(JindoFS服务)是一个云原生数据湖存储功能。基于统一的元数据管理能力,完全兼容HDFS文件系统接口,满足大数据和AI等领域的数据湖计算场景。日志服务支持将数据投递到OSS-HDFS。本文介绍创建OSS-HDFS投递任务的操作步骤。

阿里云文档 2024-12-30

通过OSS-HDFS服务审计日志分析热点访问数据

为了有效地管理和分析OSS-HDFS服务的审计日志,您需要将审计日志导入日志服务SLS,然后通过SLS内置的查询分析能力对收集的审计日志进行分析,获取OSS-HDFS服务不同时间段内的访问量变化,分析频繁访问的数据、检测异常访问行为等信息。本教程用于演示如何通过SLS分析OSS-HDFS服务热点访问数据。

阿里云文档 2024-12-27

如何授予RAM用户操作OSS-HDFS投递的权限

当您操作OSS-HDFS投递任务时,需对RAM用户进行授权。

阿里云文档 2024-12-25

如何管理日志服务中的OSS-HDFS投递作业(新版)

您可以在数据投递概览页面管理OSS-HDFS投递任务,包括查看OSS-HDFS投递任务的基础信息、统计报表,修改配置并重启任务、删除OSS-HDFS投递任务等操作。

文章 2024-09-03 来自:开发者社区

通过日志聚合将作业日志存储在HDFS中

作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.启用日志聚合功能   在默认情况下,Hadoop将所有日志存储在运行作业任务的节点上。在特定时间段后应用程序日志会被自动删除。可以配置日志聚合功能,将日志存储在HDFS中来长久保留日志信息。   日志聚合意味着一旦作业完成,Hadoop会自动聚合运行作业任务的所有节点的作业日志,并将它们移动到HDFS。日志记录是一个与YA...

通过日志聚合将作业日志存储在HDFS中
阿里云文档 2024-06-12

导出OSS-HDFS服务审计日志

OSS-HDFS服务端记录了客户端请求的查询、修改、删除文件元数据的操作审计日志。 您可以通过审计日志,了解OSS-HDFS服务操作审计、访问统计以及异常请求等情况。

文章 2022-02-17 来自:开发者社区

04【在线日志分析】之Flume Agent的3台收集+1台聚合到hdfs的搭建

【log收集】:机器名称        服务名称    用户flume-agent-01: namenode    hdfsflume-agent-02: datanode    hdfsflume-agent-03: datanode&n...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注