阿里云文档 2025-04-01

如何创建OSS-HDFS投递任务

OSS-HDFS服务(JindoFS服务)是一个云原生数据湖存储功能。基于统一的元数据管理能力,完全兼容HDFS文件系统接口,满足大数据和AI等领域的数据湖计算场景。日志服务支持将数据投递到OSS-HDFS。本文介绍创建OSS-HDFS投递任务的操作步骤。

阿里云文档 2024-12-30

通过OSS-HDFS服务审计日志分析热点访问数据

为了有效地管理和分析OSS-HDFS服务的审计日志,您需要将审计日志导入日志服务SLS,然后通过SLS内置的查询分析能力对收集的审计日志进行分析,获取OSS-HDFS服务不同时间段内的访问量变化,分析频繁访问的数据、检测异常访问行为等信息。本教程用于演示如何通过SLS分析OSS-HDFS服务热点访问数据。

阿里云文档 2024-12-27

如何授予RAM用户操作OSS-HDFS投递的权限

当您操作OSS-HDFS投递任务时,需对RAM用户进行授权。

阿里云文档 2024-12-25

如何管理日志服务中的OSS-HDFS投递作业(新版)

您可以在数据投递概览页面管理OSS-HDFS投递任务,包括查看OSS-HDFS投递任务的基础信息、统计报表,修改配置并重启任务、删除OSS-HDFS投递任务等操作。

文章 2024-10-13 来自:开发者社区

Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析

章节内容 上一节我们完成了内容: Flume 启动测试 Flume Conf编写 Flume 测试发送和接收数据 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。 ...

Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
阿里云文档 2024-06-12

导出OSS-HDFS服务审计日志

OSS-HDFS服务端记录了客户端请求的查询、修改、删除文件元数据的操作审计日志。 您可以通过审计日志,了解OSS-HDFS服务操作审计、访问统计以及异常请求等情况。

问答 2022-08-10 来自:开发者社区

大佬们,我Flink在 HDFS 里一直报这个日志怎么回事?

大佬们,我Flink在 HDFS 里一直报这个日志怎么回事?

问答 2021-12-05 来自:开发者社区

HDFS 中 edits 日志文件和 fsimage 如何同步?

HDFS 中 edits 日志文件和 fsimage 如何同步?

问答 2020-05-23 来自:开发者社区

Hadoop集群HDFS测试文件上传,小文件可以,大文件DataNode日志警告超出阈值时间

三台服务器,hdsf和yarn都正常启动,几K的小文件正常传输,188M的大文件DataNode日志一直在跑 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror took 1107ms (threshold=300ms) 然后主机完成上传报错 WARN h.....

文章 2019-04-10 来自:开发者社区

使用EMR-Flume同步HDFS audit日志到HDFS

使用EMR-Flume同步HDFS audit日志到HDFS 1.前言 E-MapReduce从3.19.0版本开始对EMR-Flume提供集群管理的功能。通过集群管理功能,可以在Web页面方便的配置和管理Flume Agent。本文将使用EMR-Flume实时同步HDFS audit日志至HDFS,便于对HDFS操作记录进行离线统计和实时分析。 2.部署方案 2.1方案一 在master...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注
X
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等