文章 2024-03-12 来自:开发者社区

Data Lake架构揭秘

1. 引入 为在组织的数据环境中创造最大价值,传统的决策支持系统架构难以满足该需求。需要开发新的架构模式以释放数据的价值。为了充分利用大数据的价值,组织需要拥有灵活的数据架构,并能够从其数据生态系统中获取最大价值。 Data Lake概念已经存在了一段时间。但是,我还是看到很多组织结构很难理解这个概念,因为他们对其的理解仍然禁锢在传统的企业数据仓库范式中。 本文将深入研究...

Data Lake架构揭秘
文章 2023-05-27 来自:开发者社区

【数据湖架构】Azure Data Lake数据湖指南(下)

我如何管理对我的数据的访问?#ADLS Gen2 支持结合 RBAC 和 ACL 来管理数据访问的访问控制模型。您可以在此处找到有关访问控制的更多信息。除了使用 RBAC 和 ACL 使用 AAD 身份管理访问之外,ADLS Gen2 还支持使用 SAS 令牌和共享密钥来管理对 Gen2 帐户中数据的访问。我们从客户那里听到的一个常见问题是何时使用 RBAC 以及何时使用 ACL 来管理对数据的....

【数据湖架构】Azure Data Lake数据湖指南(下)
文章 2023-05-27 来自:开发者社区

【数据湖架构】Azure Data Lake数据湖指南(上)

数据湖漫游指南文件大小和文件数文件格式分区方案使用查询加速我如何管理对我的数据的访问?我选择什么数据格式?如何管理我的数据湖成本?如何监控我的数据湖?ADLS Gen2 何时是您数据湖的正确选择?设计数据湖的关键考虑因素术语组织和管理数据湖中的数据我想要集中式还是联合式数据湖实施?如何组织我的数据?优化数据湖以获得更好的规模和性能推荐阅读问题、意见或反馈?Azure Data Lake Stor....

【数据湖架构】Azure Data Lake数据湖指南(上)
文章 2023-05-25 来自:开发者社区

【数据湖架构】Hitchhiker的Azure Data Lake数据湖指南

数据湖漫游指南文件大小和文件数文件格式分区方案使用查询加速我如何管理对我的数据的访问?我选择什么数据格式?如何管理我的数据湖成本?如何监控我的数据湖?ADLS Gen2 何时是您数据湖的正确选择?设计数据湖的关键考虑因素术语组织和管理数据湖中的数据我想要集中式还是联合式数据湖实施?如何组织我的数据?优化数据湖以获得更好的规模和性能推荐阅读问题、意见或反馈?Azure Data Lake Stor....

【数据湖架构】Hitchhiker的Azure Data Lake数据湖指南
文章 2022-12-18 来自:开发者社区

谈谈如何从数据湖(Data Lake)架构转向数据网格(Data Mesh)架构

以上思路的主要转变是将域数据产品视为首要关注点,将数据湖工具和管道视为次之关注点。这将当前的架构模式从集中式数据湖转变为可以很好地协同工作的数据产品生态系统,即数据网格。同样的原则也适用于用于业务报告和可视化的数据仓库。它只是网格上的一个节点,并且可能位于网格的面向消费者的边缘上。尽管数据网格实践被应用在有些客户中,但企业规模性的采用仍有很长的路要走。这并不是技术的限制,我们今天使用的所有工具都....

谈谈如何从数据湖(Data Lake)架构转向数据网格(Data Mesh)架构
问答 2022-07-28 来自:开发者社区

Delta Lake的架构优势是什么?

Delta Lake的架构优势是什么?

问答 2022-07-28 来自:开发者社区

Delta Lake与Databricks开源和Lakehouse架构的关系是什么?

Delta Lake与Databricks开源和Lakehouse架构的关系是什么?

文章 2022-06-14 来自:开发者社区

关于 Data Lake 的概念、架构与应用场景介绍

数据湖(Data Lake)概念介绍什么是数据湖(Data Lake)?数据湖的起源,应该追溯到2010年10月,由 Pentaho 的创始人兼 CTO, James Dixon 所提出,他提出的目的就当时历史背景来看,其实是为了推广自家产品 Pentaho。当时核心要解决的问题是传统数据仓库报表分析面临的两个问题:• 只使用一部分属性,这些数据只能回答预先定义好(pre-determined)....

文章 2022-06-01 来自:开发者社区

关于 Data Lake 的概念、架构与应用场景介绍

数据湖(Data Lake)概念介绍什么是数据湖(Data Lake)?数据湖的起源,应该追溯到2010年10月,由 Pentaho 的创始人兼 CTO, James Dixon 所提出,他提出的目的就当时历史背景来看,其实是为了推广自家产品 Pentaho。当时核心要解决的问题是传统数据仓库报表分析面临的两个问题:只使用一部分属性,这些数据只能回答预先定义好(pre-determined)的问....

关于 Data Lake 的概念、架构与应用场景介绍
问答 2021-12-15 来自:开发者社区

云原生数据湖分析Data Lake Analytics 的架构是什么样子的?

云原生数据湖分析Data Lake Analytics 的架构是什么样子的?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

金融级分布式架构

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等