阿里云文档 2024-10-17

小文件优化以及作业诊断时的常见问题

本文为您介绍小文件优化以及作业诊断时的常见问题。

阿里云文档 2024-04-22

如何在MaxCompute中合并小文件

分布式文件系统按块(Block)存放数据,文件大小比块大小(64MB)小的文件称为小文件。分布式系统不可避免会产生小文件,比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。

问答 2023-07-25 来自:开发者社区

大数据计算MaxCompute手动merge pk表的filenum还是不理想,还是小文件多?

大数据计算MaxCompute手动merge pk表的filenum还是不理想,还是小文件多?2g/128 = 20个,或者更少,目前2g来看有65个flienum,且,desc的存储量明显比数据地图的大很多

阿里云文档 2023-07-19

如何开启SparkSQL合并小文件功能,以及支持的SQL语句

本文为您介绍如何开启SparkSQL合并小文件功能,以及支持的SQL语句。

问答 2022-02-15 来自:开发者社区

MaxCompute SQL优化中动态分区Merge小文件操作是啥作用?

MaxCompute SQL优化中动态分区Merge小文件操作是啥作用?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

大数据计算 MaxCompute

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

+关注