阿里云文档 2024-04-26

通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark了解数据查询和分析的性能表现

TPC-DS作为大数据行业中最权威且被广泛认可的基准测试标准,用于衡量大规模数据处理系统的性能与效率的关键指标。阿里云EMR是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群环境下,充分利用OSS-HDFS服务的优势,成功执行TPC-DS Benchmark的99个SQL查询,并通过一系列优化策略实现更优的性能体验。

问答 2024-03-04 来自:开发者社区

大数据计算MaxCompute有一组di上线任务,数据源是hdfs,每天都运行,是什么原因呢?

大数据计算MaxCompute有一组di上线任务,数据源是hdfs,每天都运行,但是在information_schema.TASKS_HISTORY查不到运行记录,是什么原因呢?select * from(select distinct owner_name, get_json_object(settings,'$.SKYNET_NODENAME') as task_namefrom info....

问答 2022-12-27 来自:开发者社区

从之前的checkpoint恢复运行,之后的checkpoint上传到hdfs的数据(300M)

从之前的checkpoint恢复运行,之后的checkpoint上传到hdfs的数据(300M)比之前checkpoint上传的数据量(1.5g)少,按理说我是全量checkpoint,不应该出现这种情况吧?

文章 2022-11-20 来自:开发者社区

配置 HDFS-配置 lib-native 本地运行库|学习笔记

开发者学堂课程【快速掌握 Hadoop 集成 Kerberos 安全技术:配置 HDFS-配置 lib-native 本地运行库】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/708/detail/12563配置 HDFS-配置 lib-native 本地运行库内容介绍:一、上传安装包二、创建文件....

配置 HDFS-配置 lib-native 本地运行库|学习笔记
问答 2022-11-03 来自:开发者社区

HDFS从运行起来之后怎么进行测试啊?

HDFS从运行起来之后怎么进行测试啊?

问答 2022-11-03 来自:开发者社区

HDFS的文件系统怎么运行啊?

HDFS的文件系统怎么运行啊?

问答 2022-11-03 来自:开发者社区

为什么下载了Hadoop之后直接能够在Linux系统上运行hdfs文件呀?

为什么下载了Hadoop之后直接能够在Linux系统上运行hdfs文件呀?

问答 2022-11-03 来自:开发者社区

Linux文件系统中是怎么运行HDFS文件的呀?

在Linux文件系统上是怎么运行HDFS文件的呀?

问答 2022-07-11 来自:开发者社区

flink 在别的集群里面运行,我怎么将kafka数据写到远程hdfs

flink 在别的集群里面运行,我怎么将kafka数据写到远程hdfs

阿里云文档 2022-07-11

Dataphin项目绑定的计算引擎为CDH6时,代码运行报错:\"Filedoesnotexist:hdfs://domain_name:PORT/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz\"

问题描述Dataphin项目绑定的计算引擎为CDH6,代码运行报错“ Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. File does not exist: hdfs://domai...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等