文章 2024-10-13 来自:开发者社区

Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件

章节内容 上一节完成: HDFS的简介内容 HDFS基础原理 HDFS读文件流程 HDFS写文件流程 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。 ...

Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
文章 2023-02-26 来自:开发者社区

hive中删除操作及HDFS回收站管理腾出空间的实操

一、删除删除hive数据时,首先明确你使用删除数据还是连同表结构也要删除,如果只是要删除数据可以选择truncate来清空表中的数据,如果要对表进行删除,首先要考虑该表是内部表还是外部表。如果是外部表要确认数据是否还需要使用,如果不需要使用了可以直接使用HDFS命令对目录进行删除。查询内、外部表有两个方法:方法一:hive shell中执行describe extended tablename;....

文章 2022-10-09 来自:开发者社区

HDFS的API案例实操

客户端代码模板获取一个客户端对象执行相关的操作关闭资源初始化操作private FileSystem fs;获取一个客户端对象@Before public void init() throws URISyntaxException, IOException, InterruptedException { // 连接集群NN地址 URI uri = new UR...

文章 2022-09-20 来自:开发者社区

Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal

@[toc]6.HDFS的Shell操作(开发重点)6.1基本语法hadoop fs 具体命令 OR hdfs dfs 具体命令两个是完全相同的6.2命令大全[atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-igno...

Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
文章 2022-02-17 来自:开发者社区

数据湖实操讲解【 AI 训练加速】第十七讲:Fluid + JindoFS 对 HDFS 上的数据进行训练加速

本期导读 :【AI 训练加速】第十七讲主题:FFluid + JindoFS 对 HDFS 上的数据进行训练加速luid+JindoFS 对 OSS 上数据进行训练加速讲师:辰山,阿里巴巴计算平台事业部 EMR 技术专家内容框架:什么是 Fluid + JindoFS (JindoRuntime)为什么使用 JindoRuntime 加速 HDFS 如何使用 JindoRuntime 演示直播回....

数据湖实操讲解【 AI 训练加速】第十七讲:Fluid + JindoFS 对 HDFS 上的数据进行训练加速
文章 2022-02-17 来自:开发者社区

数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS

本期导读 :【数据迁移】第三讲主题:如何将 HDFS 海量文件归档到 OSS讲师:辰石,阿里巴巴计算平台事业部 EMR 技术专家内容框架:背景介绍具体功能详解使用实例直播回放链接:(3/4讲)https://developer.aliyun.com/live/246750背景简述HDFS 数据迁移用户需要将数据存储在 IDC 机房的 HDFS 的集群内。HDFS 的集群的空间依赖本地磁盘空间,.....

数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS
文章 2022-02-17 来自:开发者社区

数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS

本期导读 :【数据迁移】第一讲主题:高效迁移 HDFS 海量文件到 OSS讲师:扬礼,阿里巴巴计算平台事业部 EMR 开发工程师主要内容:DistCp 介绍Jindo DistCp 介绍性能优化功能演示直播回放链接:https://developer.aliyun.com/live/246728背景介绍为了让更多开发者了解并使用 JindoFS+OSS,由阿里云JindoFS+OSS 团队打造.....

数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS
文章 2021-07-02 来自:开发者社区

数据湖实操讲解【JindoFS 缓存加速】第十五讲:云上计算云下数据:HDFS 缓存加速

本期导读 :【JindoFS 缓存加速】第十五讲主题:云上计算云下数据:HDFS 缓存加速讲师:抚月,阿里巴巴计算平台事业部 开源大数据平台 技术专家内容框架:背景介绍功能介绍使用方法实操演示直播回放链接:(15讲)https://developer.aliyun.com/live/246996一、背景介绍问题和挑战:       传统的大数据服务,通常是自己部署一....

数据湖实操讲解【JindoFS 缓存加速】第十五讲:云上计算云下数据:HDFS 缓存加速
文章 2021-05-13 来自:开发者社区

数据湖实操讲解【数据迁移】第二讲:数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS

本期导读 :【数据迁移】第二讲主题:数据无忧:利用 checksum 迁移 HDFS 数据到 OSS讲师:焱冰,阿里巴巴计算平台事业部 EMR 技术专家主要内容:Checksum 技术科普DistCp 技术解密Jindo DistCp 操作实战直播回放链接:(1/2讲)https://developer.aliyun.com/live/246728概念简述DistCp & Jindo .....

数据湖实操讲解【数据迁移】第二讲:数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问