阿里云文档 2025-03-21

使用Hadoop命令操作OSS/OSS-HDFS

在使用阿里云EMR Serverless Spark的Notebook时,您可以通过Hadoop命令直接访问OSS或OSS-HDFS数据源。本文将详细介绍如何通过Hadoop命令操作OSS/OSS-HDFS。

阿里云文档 2025-03-07

配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何配置OSS/OSS-HDFS Credential Provider。

文章 2025-02-28 来自:开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

背       景 随着互联网服务的广泛普及与技术应用的深入发展,日志数据作为记录系统活动、用户行为和业务操作的宝贵资源,其价值愈发凸显。然而,当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力,这不仅要求我们具备高效的数据收集和存储机制,更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下,Apache  Spark,这一专为...

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
阿里云文档 2024-08-30

配置OSS/OSS-HDFS开启Ranger权限控制

Apache Ranger作为集中式权限管理框架,允许对Hadoop生态系统中的多个组件实施细粒度访问控制。本文介绍如何配置阿里云OSS或OSS-HDFS开启Ranger权限控制。

文章 2024-08-15 来自:开发者社区

阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决

问题一:JindoFS与HDFS在POSIX语义支持上有何差异? JindoFS与HDFS在POSIX语义支持上有何差异? 参考回答: JindoFS与HDFS在POSIX语义支持上的差异主要体现在对随机写、细粒度锁和fallocate操作的支持上。JindoFS通过多版本机制和全新设计的Lease管理机制,实现了对POSIX语义的几乎完整支持,而HDFS则相对...

问答 2024-06-09 来自:开发者社区

EMR报错提示oss://yourbucket/***/***/***”或“hdfs://yo...

EMR报错提示oss://yourbucket/***/***/***”或“hdfs://yourhost:9000/***/***/***”路径不存在

文章 2024-05-28 来自:开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

背景 随着互联网服务的广泛普及与技术应用的深入发展,日志数据作为记录系统活动、用户行为和业务操作的宝贵资源,其价值愈发凸显。然而,当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力,这不仅要求我们具备高效的数据收集和存储机制,更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下,Apache Spark,这一专为大规模数据处理而设计的计算引擎,成为了构建高性能日志分...

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
阿里云文档 2024-04-26

使用PyJindo访问阿里云OSS-HDFS

本文将以两种方式为您介绍如何在Python 3.6及更高版本中,利用Python的工具包PyJindo来操作OSS-HDFS。

阿里云文档 2024-03-25

按Bucket配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何按Bucket配置OSS/OSS-HDFS Credential Provider。

文章 2023-09-15 来自:开发者社区

使用EMR+DLF+OSS-HDFS进行数据湖分析

使用EMR+DLF+OSS-HDFS进行数据湖分析1. 创建实验资源开始实验之前,您需要先创建相关实验资源。在云起实验室,单击创建资源。(可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。 说明:资源创建过程需要5~8分钟。2. 准备实验环境操作原理:用实验分配的RAM用户登录到阿里云管控台,在OSS管控台的数据湖管理中,为实验提供的Bu....

使用EMR+DLF+OSS-HDFS进行数据湖分析

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

对象存储OSS

对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等