云原生大数据计算服务 MaxCompute发展历程的相关内容

文章 2022-04-25 来自：开发者社区

大数据发展历程及技术选型（5）

根据活跃度（调用次数等）、覆盖度（通过血缘关系找出依赖数量），以及贡献度（依赖数据的重要等级）来确认数据的价值同时会评估数据的成本指数（例如计算成本、存储成本等）比如针对价值低，成本高的数据，可以考虑下线等简介HBase是一个分布式的、面向列的开源数据库 Bigtable：一个结构化数据的分布式存储系统就像Bigtable利用了Google文件系统（File System）所提供的分布式数....

文章 2022-04-25 来自：开发者社区

大数据发展历程及技术选型（4）

1、数据研发需要与业务部门充分衔接，比如在数据调研中要与业务研发同学进行线上数据&结构访谈 2、在数据开发中，与分析&业务同学共同确认标准口径 3、在数据研发完成后对数据使用方进行数据发布与培训 4、除了需求调研，其他部分都进行了线上化，包括数据的模型设计，早期会手写mapping文档，后期逐步把mapping文档进行了线上化 5、整体的数据模型设计通过模型设计工具完成，包括从概....

文章 2022-04-25 来自：开发者社区

大数据发展历程及技术选型（3）

数据研发实践数据处理架构最早数据仓库的计算只支持批处理通常是按天定时处理数据在后期逐步进化到准实时，本质上还是批处理只是处理频度上得有提升，到小时级，或者15分钟这种lambda架构后期演化出一条新的流处理链路这个链路和之前的批处理分别处理然后在服务层面利用大数据的计算能力进行合并向外提供离线+实时数据服务Flink流批一体化在接入层统一采用流式接入计算层采用统一套框架支持实时计算....

文章 2022-04-25 来自：开发者社区

大数据发展历程及技术选型（2）

数据中台架构与技术选型底座是数据基础平台数据采集平台&计算平台&存储平台可自建可使用云计算服务中间部分两大块是中台的公共数据区公共数据区包括数据仓库(数据湖) 主要负责公共数据模型研发还包括统一指标（标签）平台负责把模型组织成可以对外服务的数据，例如数据指标、数据标签上层是数据应用服务层将公共数据区的数据对外包装并提供服务，包括数据接口平台、多维查询平台，数据可视化平台...

文章 2022-04-25 来自：开发者社区

大数据发展历程及技术选型（1）

大数据发展历程第一阶段2000年-2010年数仓提供方企业级数据仓库（EDW） IOT(IBM、Oracle、Teradata) 提供数据仓库建设从硬件、软件到实施的整体方案需要购买大（中、小）型机配套商用的关系型数据库（Oracle、DB2、SQL Server）以及一些ETL/OLAP套件使用范围实施成本高昂集中在金融、电信、大型零售与制造等行业作用为企业提供报表、分析等数据辅助.....