数据SQL etl 的相关内容

阿里云文档 2025-03-24

通过Spark SQL读DLF管理的数据

数据湖构建 DLF（Data Lake Formation）提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

阿里云文档 2025-01-10

使用SQL查询存在数据延迟问题

问题现象在新增或更新数据后，使用SQL查询数据时无法立即获取最新数据，存在一定的延迟现象。可能原因在为数据表创建多元索引后，使用SQL查询数据时，如果多元索引包含SQL中涉及的所有数据列，则SQL引擎将自动选择该多元索引进行数据查询。更多信息，请参见索引选择策略。索引选择策略而多元索引中的数据可能存...

阿里云文档 2024-11-15

RDS SQL Server冷热数据分离最佳实践

本文介绍了通过RDS云盘实现数据存储结构优化和冷热数据分离的实践方案。适用于数据量庞大、对成本敏感或对数据访问性能有分层需求等业务场景。冷热数据分离不仅能有效降低存储成本，还能确保关键数据的快速访问，优化资源利用。通过将低频访问的冷数据归档至成本更低的对象存储服务OSS，同时将高频访问的热数据保留在云盘上，从而达到数据管理的成本效益和高效率。

文章 2024-10-13 来自：开发者社区

Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce

章节内容上一节我们完成了如下的内容：编写一个 SQL 脚本生成数据启动我们的依赖服务：HDFS、Hive、YARN Sqoop 将数据全量导入 Hive 查看MapReduce状态、查看HDFS结果背景介绍这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚...

文章 2024-10-13 来自：开发者社区

Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce

章节内容上节我们完成了： Sqoop 介绍 Sqoop 下载配置环境等 Sqoop 环境依赖：Hadoop、Hive、JDBC 等环境补全背景介绍这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在...